[论文解读] An Implementation of Faster RCNN with Study for Region Sampling

Xinlei Chen, Abhinav Gupta|arXiv (Cornell University)|Feb 7, 2017

Advanced Neural Network Applications参考文献 7被引用 124

一句话总结

本论文在 TensorFlow 中实现 Faster R-CNN，分析简化步骤，并研究区域采样策略，结果表明在充分收敛的情况下，偏向小区域的采样可以达到或超过基于 NMS 的采样。

ABSTRACT

We adapted the join-training scheme of Faster RCNN framework from Caffe to TensorFlow as a baseline implementation for object detection. Our code is made publicly available. This report documents the simplifications made to the original pipeline, with justifications from ablation analysis on both PASCAL VOC 2007 and COCO 2014. We further investigated the role of non-maximal suppression (NMS) in selecting regions-of-interest (RoIs) for region classification, and found that a biased sampling toward small regions helps performance and can achieve on-par mAP to NMS-based sampling when converged sufficiently.

研究动机与目标

• 将 Faster RCNN 的联合训练从 Caffe 迁移到 TensorFlow，作为基线实现。
• 简化原始管线并在 VOC 2007 与 COCO 2014 上通过消融评估其影响。
• 研究区域采样和 NMS 在 RoI 选择中的作用，以提升检测性能。

提出的方法

• 采用 crop_and_resize 池化来替代 RoI 池化以产生 14x14 的裁剪，并最大池化到 7x7 以作为 fc6 输入。
• 在每次前向—后向传播中使用 N=1 图像和 R=256 个区域进行训练（避免跨批次的梯度累积）。
• 在训练区域分类器时保持默认的 RPN 训练（R=256 区域），同时采用带偏倚的区域采样。
• 在训练中移除对较小提案的排除条件（<16 像素），因为观察到对小目标的性能下降。
• 比较多种区域采样方案（NMS、ALL、PRE、POW、TOP），研究它们对训练/测试性能和召回率的影响。

实验结果

研究问题

• RQ1 将 RoI 池化切换为 crop_and_resize 是否会影响 Faster R-CNN 的性能？
• RQ2 在训练中偏向小提案的采样是否比依赖 NMS 的去重更有利？
• RQ3 不同的区域采样方案（NMS、ALL、PRE、POW、TOP）如何影响 VOC 2007 和 COCO 2014 的 mAP 与召回？
• RQ4 增加采样区域数量 R 对收敛性和性能有何影响？
• RQ5 在测试阶段使用 TOP（直接选择前 K 个提案）是否能弥补训练阶段缺少 NMS 的影响？

主要发现

• 在 TensorFlow 实现的 Faster R-CNN 中，crop_and_resize 池化对比 RoI 池化略有性能优势。
• 从单张图像抽样 R=256 区域（N=1）效果良好，并避免跨多批次的梯度累积变慢；RPN 仍使用 256 个提案。
• 训练中移除对小提案的过滤（<16 像素）可提升性能，尤其是对小物体。
• 偏向小区域的采样（基于 NMS 的、PRE、POW、TOP 方案）通常产生与 ALL 采样相近或更好的 mAP/召回，当 K 较大时 TOP 常常达到或超过 NMS。
• 对于 VOC 2007，偏向采样方案实现约 71% mAP，并注意到小目标的 AP 提升；对于 COCO 2014，偏向采样提升了小目标的 AP 与 AR（例如在某些配置下观察到的 AP 和 AR 提升）。
• 将 R 增加超过 256 可能带来收益递减或过拟合，256 提供了一个较好的折衷。
• 经过更长的训练（如在 COCO 上达到 79 万次迭代），NMS 与偏向采样之间的差距缩小，表明收敛时间影响采样策略的相对表现。