[论文解读] DeepBox: Learning Objectness with Convolutional Networks

Weicheng Kuo, Bharath Hariharan+1 more|arXiv (Cornell University)|May 8, 2015

Domain Adaptation and Few-Shot Learning参考文献 27被引用 31

一句话总结

DeepBox 提出了一种轻量级的四层卷积神经网络（CNN），通过学习到的语义线索对自底向上的方法（如 Edge Boxes）生成的候选区域进行重排序，显著提升了目标性排序性能。该方法仅使用 500 个候选区域即实现了 4.5 个百分点更高的 mAP，与基线方法使用 2000 个候选区域的性能相当，同时每张图像推理速度达到 260 ms，展现出对未见类别的良好泛化能力以及业界领先的效率。

ABSTRACT

Existing object proposal approaches use primarily bottom-up cues to rank proposals, while we believe that objectness is in fact a high level construct. We argue for a data-driven, semantic approach for ranking object proposals. Our framework, which we call DeepBox, uses convolutional neural networks (CNNs) to rerank proposals from a bottom-up method. We use a novel four-layer CNN architecture that is as good as much larger networks on the task of evaluating objectness while being much faster. We show that DeepBox significantly improves over the bottom-up ranking, achieving the same recall with 500 proposals as achieved by bottom-up methods with 2000. This improvement generalizes to categories the CNN has never seen before and leads to a 4.5-point gain in detection mAP. Our implementation achieves this performance while running at 260 ms per image.

研究动机与目标

• 为解决自底向上的候选区域生成方法仅依赖显著性、分组等低层次线索的局限性，这些线索无法捕捉物体的高层语义结构。
• 探究是否能够通过深度学习有效学习一种与具体物体类别无关的数据驱动语义目标性概念。
• 开发一种快速、轻量级的 CNN 架构，在无需大规模微调或复杂推理流程的前提下提升候选区域排序性能。
• 证明所学习的目标性具有泛化能力，可提升下游目标检测性能。

提出的方法

• 使用四层 CNN 对自底向上方法（如 Edge Boxes）生成的候选区域进行重排序，以裁剪后的候选区域作为输入。
• 在网络大规模图像数据集（含标注物体）上端到端训练，学习为包含真实物体的候选区域分配更高分数。
• 网络架构受 SPP 和 Fast R-CNN 启发，可在全图上实现高效推理，计算开销极低。
• 针对不同候选区域生成方法（如 Edge Boxes、Selective Search）对模型进行微调，以适应不同的候选区域分布，提升泛化能力。
• Fast DeepBox 变体采用多尺度与单尺度推理，将推理时间缩短至每张图像 0.26 秒，相比 DeepMask 实现 70 倍加速。
• 该框架模块化设计，可作为即插即用的重排序模块，适配任意自底向上的候选区域生成方法。

实验结果

研究问题

• RQ1 深度学习模型能否学习一种通用的、语义层面的目标性概念，使其超越低层次的显著性与分组线索？
• RQ2 轻量级 CNN 架构是否能在保持高速度与高精度的前提下，优于更大的神经网络进行目标性排序？
• RQ3 在一种候选区域生成方法（如 Edge Boxes）上训练的模型，是否能泛化到其他方法（如 Selective Search、MCG）并提升其排序性能？
• RQ4 改进的候选区域排序在多大程度上能转化为更好的目标检测性能，尤其是在候选区域数量较少时？
• RQ5 所学习的目标性模型能否检测在训练阶段从未见过的类别中的物体？

主要发现

• 在 PASCAL VOC 2007 数据集上，DeepBox 相较 Edge Boxes 将目标性排序的 AUC 相对提升 26%，证明了学习语义线索的有效性。
• 仅使用 500 个候选区域时，DeepBox 在 COCO 数据集上的 Fast R-CNN 检测任务中实现了 37.8% 的 mAP，比使用 500 个 Edge Boxes 候选区域的 33.3% 提升 4.5 个百分点，甚至优于使用 2000 个 Edge Boxes 候选区域的 35.9%。
• 模型对未见类别具有泛化能力：在 COCO 数据集中未见类别的召回率提升了 16%。
• Fast DeepBox 每张图像推理时间为 0.26 秒（多尺度），相比 DeepMask 实现 70 倍加速，同时保持了具有竞争力的 AUC（IoU=0.5 时为 0.40）。
• 对每种候选区域生成方法（如 Selective Search、MCG）单独微调 DeepBox，可消除性能下降问题，并在所有方法上实现一致的性能提升。
• 即使仅对前 2000 个候选区域进行重排序，该框架仍能保持高性能，AUC 仅下降 0.005–0.01，支持实时推理。