[论文解读] Is Faster R-CNN Doing Well for Pedestrian Detection?

Zhang Li-liang, Liang Lin+2 more|arXiv (Cornell University)|Jul 24, 2016

Advanced Neural Network Applications参考文献 28被引用 7

一句话总结

本文提出了一种简单但高效的行人检测基线方法，采用区域建议网络（RPN）后接级联的提升森林（BF）模型，利用高分辨率特征，克服了Faster R-CNN在处理小目标和困难负样本方面的局限性。该方法在Caltech、INRIA、ETH和KITTI基准上实现了最先进性能，推理时间仅为0.5秒，且在Caltech数据集上IoU阈值为0.7时，定位精度相对提升达40%。

ABSTRACT

Detecting pedestrian has been arguably addressed as a special topic beyond general object detection. Although recent deep learning object detectors such as Fast/Faster R-CNN [1, 2] have shown excellent performance for general object detection, they have limited success for detecting pedestrian, and previous leading pedestrian detectors were in general hybrid methods combining hand-crafted and deep convolutional features. In this paper, we investigate issues involving Faster R-CNN [2] for pedestrian detection. We discover that the Region Proposal Network (RPN) in Faster R-CNN indeed performs well as a stand-alone pedestrian detector, but surprisingly, the downstream classifier degrades the results. We argue that two reasons account for the unsatisfactory accuracy: (i) insufficient resolution of feature maps for handling small instances, and (ii) lack of any bootstrapping strategy for mining hard negative examples. Driven by these observations, we propose a very simple but effective baseline for pedestrian detection, using an RPN followed by boosted forests on shared, high-resolution convolutional feature maps. We comprehensively evaluate this method on several benchmarks (Caltech, INRIA, ETH, and KITTI), presenting competitive accuracy and good speed. Code will be made publicly available.

研究动机与目标

• 探究为何Faster R-CNN在行人检测任务中表现不佳，尽管其在通用目标检测任务中表现优异。
• 识别Faster R-CNN在行人检测中性能下降的根本原因，尤其是对小目标处理和困难负样本挖掘方面的局限。
• 开发一种简单、端到端的深度学习基线方法，用高分辨率特征和有效的自举机制替代混合的手工设计特征。
• 证明高分辨率特征与困难负样本挖掘对行人检测精度的提升作用，甚至超过手工设计特征的重要性。

提出的方法

• 将Faster R-CNN中的区域建议网络（RPN）作为独立检测器，用于生成候选建议框。
• 从较浅层、更高分辨率的卷积特征层中池化特征，以更好地表征小尺寸行人实例。
• 采用“空洞卷积”（dilated convolution）技术，在不增加参数量的前提下提升特征图分辨率。
• 使用级联的提升森林（BF）进行分类，利用RPN共享的高分辨率特征，降低计算量并提升泛化能力。
• 利用BF内置的自举机制与样本重加权策略，有效挖掘困难负样本，增强分类器鲁棒性。
• 在RPN与BF之间共享卷积特征，实现高效推理，测试时单张图像推理时间仅为0.5秒。

实验结果

研究问题

• RQ1 为何Faster R-CNN在通用目标检测中表现优异，却在行人检测任务中表现不佳？
• RQ2 当应用于小尺度行人实例时，Faster R-CNN的主要局限性是什么？
• RQ3 RPN组件在行人检测中的性能与完整Faster R-CNN流水线相比如何？
• RQ4 高分辨率特征与困难负样本挖掘对提升行人检测精度的贡献程度如何？
• RQ5 纯深度学习方法是否能够超越结合手工特征与深度特征的混合方法？

主要发现

• 仅使用RPN即可达到具有竞争力的行人检测性能，表明核心问题在于后续的Fast R-CNN分类器。
• 在Caltech数据集上，使用原始标注时，该方法的平均召回率（MR）为9.6%；使用修正标注后，MR-2为7.3%，优于所有无需手工特征的先前方法。
• 在Caltech数据集上，IoU阈值为0.7时，该方法达到23.5%的MR，相较最接近的竞争对手实现40%的相对提升，证明其在定位精度上的显著优势。
• 在INRIA数据集上，该方法达到6.9%的MR，显著优于此前最佳结果11.2%。
• 在ETH数据集上，该方法达到30.2%的MR，较此前领先方法（TA-CNN）提升5个百分点。
• 在KITTI数据集上，该方法在Easy、Moderate和Hard三个子集上的mAP分别为77.12%、61.15%和55.12%，单张图像测试时间0.6秒，展现出优异的速度与精度平衡。