[论文解读] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal\n Networks

Shaoqing Ren, Kaiming He+2 more|arXiv (Cornell University)|Jun 4, 2015

Advanced Neural Network Applications参考文献 19被引用 6,233

一句话总结

Faster R-CNN 引入 Region Proposal Networks (RPNs) 与 Fast R-CNN 共享卷积特征，在运行时生成区域提议，从而实现近乎零成本的提议和端到端训练，用于在 VOC 和 COCO 数据集上实现实时目标检测并具有较高准确性。

ABSTRACT

State-of-the-art object detection networks depend on region proposal\nalgorithms to hypothesize object locations. Advances like SPPnet and Fast R-CNN\nhave reduced the running time of these detection networks, exposing region\nproposal computation as a bottleneck. In this work, we introduce a Region\nProposal Network (RPN) that shares full-image convolutional features with the\ndetection network, thus enabling nearly cost-free region proposals. An RPN is a\nfully convolutional network that simultaneously predicts object bounds and\nobjectness scores at each position. The RPN is trained end-to-end to generate\nhigh-quality region proposals, which are used by Fast R-CNN for detection. We\nfurther merge RPN and Fast R-CNN into a single network by sharing their\nconvolutional features---using the recently popular terminology of neural\nnetworks with 'attention' mechanisms, the RPN component tells the unified\nnetwork where to look. For the very deep VGG-16 model, our detection system has\na frame rate of 5fps (including all steps) on a GPU, while achieving\nstate-of-the-art object detection accuracy on PASCAL VOC 2007, 2012, and MS\nCOCO datasets with only 300 proposals per image. In ILSVRC and COCO 2015\ncompetitions, Faster R-CNN and RPN are the foundations of the 1st-place winning\nentries in several tracks. Code has been made publicly available.\n

研究动机与目标

• 动机：降低两阶段检测器中的区域提议瓶颈。
• 提出一个与检测器共享特征的全卷积 Region Proposal Network (RPN)。
• 开发一种联合训练策略，将 RPN 和 Fast R-CNN 耦合为一个统一网络。
• 在 PASCAL VOC 和 COCO 数据集上评估速度与准确度的权衡。
• 在实际基准测试中展示实用效果和竞争力。

提出的方法

• 引入 Region Proposal Network (RPN)，在共享卷积特征图上滑动，在每个位置预测对象性与边界框。
• 在每个滑动位置使用锚点 (k=9)，预测不同尺度和纵横比的多种提议。
• 通过多任务损失进行训练，结合对象性分类与边界框回归（平滑 L1 损失）。
• 在 RPN 与 Fast R-CNN 之间共享卷积层，形成一个近乎零成本提议的统一网络。
• 提出一个 4 步交替训练过程，在学习共享特征的同时保持提案质量。

实验结果

研究问题

• RQ1 是否能从共享卷积骨干网高效生成区域提议，同时不牺牲检测准确性？
• RQ2 在提议网络和检测网络之间共享特征是否能带来可测量的加速和改进的端到端性能？
• RQ3 基于锚点的多尺度提议对跨数据集的检测准确性有何影响？
• RQ4 对于深层架构的实时目标检测，端到端可训练的框架是否可行？

主要发现

• RPN+Fast R-CNN 在 VOC 2007/2012 上达到最先进或有竞争力的 mAP，且每张图像仅需 300 个提议。
• 在 VOC 2007 上使用 VGG-16 时，RPN+VGG 与共享特征在使用 300 提议时达到 69.9% mAP（在 07 上训练）。
• 在 VOC 2007 上使用 VGG-16 时，RPN+VGG 与共享特征在在 07+12 上训练时达到 73.2% mAP（300 提议）。
• 在 VGG-16 下，Faster R-CNN 在 GPU 上对完整检测流水线（包括所有步骤）以 ~300 提议运行，约 5 fps，显示出实时潜力。
• 在使用共享特征时，该方法将提议生成的计算负担降至每图像约 10 ms，使端到端检测更快。
• 结果表明，在测试配置下，提议数量超过 300 对 mAP 的提升趋于减弱。