[论文解读] HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection

Tao Kong, Anbang Yao+2 more|arXiv (Cornell University)|Apr 3, 2016

Advanced Neural Network Applications被引用 139

一句话总结

HyperNet 共同学习区域提案和对象检测，通过将层次化 CNN 特征融合成一个 Hyper Feature，在约 100 个提案时实现高召回率，并在 VOC2007/2012 上达到最先进的 mAP，具有实时潜力。

ABSTRACT

Almost all of the current top-performing object detection networks employ region proposals to guide the search for object instances. State-of-the-art region proposal methods usually need several thousand proposals to get high recall, thus hurting the detection efficiency. Although the latest Region Proposal Network method gets promising detection accuracy with several hundred proposals, it still struggles in small-size object detection and precise localization (e.g., large IoU thresholds), mainly due to the coarseness of its feature maps. In this paper, we present a deep hierarchical network, namely HyperNet, for handling region proposal generation and object detection jointly. Our HyperNet is primarily based on an elaborately designed Hyper Feature which aggregates hierarchical feature maps first and then compresses them into a uniform space. The Hyper Features well incorporate deep but highly semantic, intermediate but really complementary, and shallow but naturally high-resolution features of the image, thus enabling us to construct HyperNet by sharing them both in generating proposals and detecting objects via an end-to-end joint training strategy. For the deep VGG16 model, our method achieves completely leading recall and state-of-the-art object detection accuracy on PASCAL VOC 2007 and 2012 using only 100 proposals per image. It runs with a speed of 5 fps (including all steps) on a GPU, thus having the potential for real-time processing.

研究动机与目标

• 推动在保持高召回的同时减少区域提案的数量。
• 开发一个统一网络，联合优化区域提案生成和对象检测。
• 利用多层次的 CNN 特征来改善小目标定位与定位精度。
• 提出一个适用于实时或大规模部署的高效训练与推理框架。

提出的方法

• 通过将来自多层的分层 CNN 特征图聚合并压缩到一个统一空间，来创建 Hyper Feature。
• 设计一个轻量级区域提案网络，结合 ROI 池化和边界框回归，每张图像输出约 100 个提案。
• 实现一个检测网络，共享 Hyper Feature，在全连接层之前使用改进的卷积层，并进行类别特定的边界框回归以及 NMS。
• 通过六步训练过程联合训练提案和检测模块，形成统一的 HyperNet。
• 通过重新排序层次以降低特征维度、简化分类器，从而加速提案和检测阶段。

实验结果

研究问题

• RQ1 在不同 IoU 阈值下，HyperNet 是否能以较少的提案数量（约 100 个）实现较高的召回率？
• RQ2 融合深层、中间层和浅层 CNN 特征（Hyper Feature）是否同时提升提案质量和检测精度，尤其是对小物体？
• RQ3 与分阶段训练相比，提案生成和对象检测的联合训练如何影响整体性能？
• RQ4 HyperNet 的运行时特性是多少？在不牺牲精确度的前提下，能否接近实时性能？

主要发现

• 在 PASCAL VOC 2007 的 IoU 0.5 下，HyperNet 以 50 个提案实现 95% 召回，以 100 个提案实现 97% 召回。
• 在 VOC 2007 上，HyperNet 达到 76.3% mAP，在 IoU 0.5 下比 Fast R-CNN 高出 6.3 点、比 Faster R-CNN 高出 3.1 点。
• 在 VOC 2012 上，HyperNet 实现 71.4% mAP（comp4 Track 的最高结果），优于若干基线。
• 加速版本（HyperNet-SP）在保持较高精度的同时，在 GPU 硬件上实现约 5 帧每秒。
• 该架构的 Hyper Feature 将多级特征以合适的分辨率结合，有助于改进定位和对小物体的检测（如瓶子、植物）。