[论文解读] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

Shaoqing Ren, Kaiming He+2 more|arXiv (Cornell University)|Jun 4, 2015

Advanced Neural Network Applications参考文献 22被引用 18,219

一句话总结

Faster R-CNN 引入区域提议网络 (RPNs)，与检测网络共享全图卷积特征以生成高质量的区域提议，从而在统一网络中实现更快且更准确的目标检测。

ABSTRACT

State-of-the-art object detection networks depend on region proposal algorithms to hypothesize object locations. Advances like SPPnet and Fast R-CNN have reduced the running time of these detection networks, exposing region proposal computation as a bottleneck. In this work, we introduce a Region Proposal Network (RPN) that shares full-image convolutional features with the detection network, thus enabling nearly cost-free region proposals. An RPN is a fully convolutional network that simultaneously predicts object bounds and objectness scores at each position. The RPN is trained end-to-end to generate high-quality region proposals, which are used by Fast R-CNN for detection. We further merge RPN and Fast R-CNN into a single network by sharing their convolutional features---using the recently popular terminology of neural networks with 'attention' mechanisms, the RPN component tells the unified network where to look. For the very deep VGG-16 model, our detection system has a frame rate of 5fps (including all steps) on a GPU, while achieving state-of-the-art object detection accuracy on PASCAL VOC 2007, 2012, and MS COCO datasets with only 300 proposals per image. In ILSVRC and COCO 2015 competitions, Faster R-CNN and RPN are the foundations of the 1st-place winning entries in several tracks. Code has been made publicly available.

研究动机与目标

• 推动降低前沿检测器中的区域提议瓶颈。
• 开发一个完全卷积的区域提议网络（RPN），与检测网络共享特征。
• 端到端训练 RPN，并将其与 Fast R-CNN 集成为一个统一网络。
• 在标准基准（PASCAL VOC、MS COCO）上展示速度-准确性提升。

提出的方法

• 介绍完全卷积且与 Fast R-CNN 共享卷积层的区域提议网络（RPNs）。
• 在每个滑动窗口位置，预测多种锚点（k=9），包含 3 个尺度和 3 个纵横比，以覆盖多尺度物体。
• 使用多任务损失进行训练，结合对象性分类与边界框回归。
• 使用平移不变的锚点机制以减少参数并在物体移动时确保一致的提议。
• 通过四步交替/共享的训练方案，创建一个在提议与检测间共享特征的统一网络。
• 在 PASCAL VOC 和 COCO 上进行评估，比较 Selective Search 和 EdgeBoxes；展示近实时的速度（例如在 VGG-16 上 5fps）。

实验结果

研究问题

• RQ1 在 CNN 框架内，是否可以高效生成区域提议而不牺牲检测准确性？
• RQ2 在提议与检测网络之间共享卷积特征是否在保持或提升准确性的同时降低计算量和内存占用？
• RQ3 基于锚点的多尺度提议在速度和准确性上与传统的图像/特征金字塔或多滤波金字塔相比如何？
• RQ4 哪些训练策略最能产生一个统一的、端到端可训练的网络，将 RPN 与 Fast R-CNN 结合起来？
• RQ5 所提出的方法在更深的网络和如 COCO 这样更大规模的数据集上如何扩展？

主要发现

• RPNs 通过与检测器共享卷积特征实现几乎零成本的区域提议（例如每张图像约 10 ms 用于提议）。
• Faster R-CNN 在 VOC 2007 和 2012 上以每张图像大约 300 个提议实现有竞争力或更优的 mAP，在准确度上超越 Selective Search 和 EdgeBoxes，同时速度更快。
• 用 RPN 取代外部提议方法可获得更快的端到端检测（例如在使用 VGG-16 的 GPU 上达到 5 fps，涵盖所有步骤）。
• 一个在 RPN 与 Fast R-CNN 之间共享卷积特征的统一网络，保持高检测准确性并比独立训练更省时。
• 基于锚点的多尺度提议，使用少量锚点（k=9）有效覆盖物体尺度和纵横比，无需特征金字塔或图像金字塔。
• 更强大的骨干网络（如 VGG-16）提高 RPN 提议质量和下游检测性能（如相对于 ZF 配置的 mAP 提升）。