[论文解读] DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers

Amir Ghodrati, Ali Diba+3 more|arXiv (Cornell University)|Oct 15, 2015

Advanced Neural Network Applications参考文献 24被引用 19

一句话总结

DeepProposal 提出了一种从粗到精的逆级联方法，利用卷积神经网络（CNN）多个卷积层的特征图生成高质量的目标候选框。通过结合深层网络的高召回率与浅层网络的精确定位能力，该方法在目标候选框生成方面达到当前最优性能，并在集成到基于CNN的目标检测器中时显著提升检测精度，即使候选框数量远少于选择性搜索（selective search），仍表现更优。

ABSTRACT

In this paper we evaluate the quality of the activation layers of a convolutional neural network (CNN) for the gen- eration of object proposals. We generate hypotheses in a sliding-window fashion over different activation layers and show that the final convolutional layers can find the object of interest with high recall but poor localization due to the coarseness of the feature maps. Instead, the first layers of the network can better localize the object of interest but with a reduced recall. Based on this observation we design a method for proposing object locations that is based on CNN features and that combines the best of both worlds. We build an inverse cascade that, going from the final to the initial convolutional layers of the CNN, selects the most promising object locations and refines their boxes in a coarse-to-fine manner. The method is efficient, because i) it uses the same features extracted for detection, ii) it aggregates features using integral images, and iii) it avoids a dense evaluation of the proposals due to the inverse coarse-to-fine cascade. The method is also accurate; it outperforms most of the previously proposed object proposals approaches and when plugged into a CNN-based detector produces state-of-the- art detection performance.

研究动机与目标

• 通过利用CNN中浅层与深层卷积层的互补优势，改进目标候选框生成质量。
• 设计一种高效、端到端的候选框生成方法，复用检测任务中已计算的特征，避免冗余计算。
• 同时实现高召回率与精确定位，克服单一特征层使用带来的局限性。
• 评估该方法在未见类别上的泛化能力及其对下游检测性能的影响。

提出的方法

• 该方法采用从粗到精的逆级联策略，从最后一个卷积层（第5层）开始，逐步回溯至早期卷积层（如第2层），在每一阶段对候选框进行精细化处理。
• 在每一层，通过在激活图上滑动窗口，使用一组固定的尺度和长宽比生成候选窗口。
• 利用在线性分类器预测候选框的“目标性”分数，该分类器基于池化后的CNN特征进行训练，特征聚合通过积分图像加速，实现常数时间计算。
• 候选框从粗到精逐步过滤与空间精炼，最终阶段通过早期层（如第2层）提取的轮廓信息进行精细调整。
• 该框架复用检测任务中已有的CNN特征，无需额外特征提取，从而实现快速推理。
• 该方法在训练中优先关注与目标相关的候选框，支持类别特定的适应（如针对汽车），并能泛化到未见类别。

实验结果

研究问题

• RQ1 能否有效结合预训练CNN的多个卷积层，以提升目标候选框的质量？
• RQ2 使用CNN特征的从粗到精逆级联方法是否在召回率与定位精度两方面均优于现有候选框生成方法？
• RQ3 能否通过复用检测任务中已计算的特征，使候选框生成过程更加高效？
• RQ4 该方法在训练中未见的目标类别上泛化能力如何？
• RQ5 使用DeepProposal在多大程度上能提升基于CNN的目标检测器性能？

主要发现

• 仅使用100个候选框时，DeepProposal在PASCAL VOC 2007数据集上达到53.2的mAP，显著优于选择性搜索在相同候选框数量下的28.1 mAP。
• DeepProposal仅需300个候选框即可达到接近最优的检测性能，而选择性搜索需超过2000个候选框才能达到峰值性能。
• 在针对汽车类别微调后，DeepProposal将SppNet检测器的mAP从57.6%提升至60.4%，证明其在特定类别上可有效提升检测性能。
• 在COCO数据集上，当在20个VOC类别或随机采样的COCO类别上训练时，DeepProposal在1000个候选框下仍能保持59–60%的召回率（IoU阈值为0.5），展现出强大的泛化能力。
• 该方法在未见类别上泛化良好，当仅在5个COCO类别上训练时，召回率仅轻微下降至56%，表明其对弱监督的鲁棒性。
• 逆级联设计通过避免密集评估实现高效推理，且复用检测特征确保了极低的计算开销。