[论文解读] Action-Driven Object Detection with Top-Down Visual Attentions

Donggeun Yoo, Sunggyun Park+3 more|arXiv (Cornell University)|Dec 20, 2016

Advanced Neural Network Applications参考文献 43被引用 5

一句话总结

该论文提出了一种基于动作驱动的自顶向下目标检测方法，采用一种名为AttentionNet的视觉注意力模型，通过一系列顺序动作（例如“向左移动”、“向下移动”）迭代优化目标边界框，而非依赖自底向上的候选区域生成。该方法在PASCAL VOC 2007和ILSVRC CLS-LOC数据集上达到最先进性能，在IoU=0.7时比Faster R-CNN提升+7.1% mAP，通过上下文感知的动作引导优化实现了更优的定位精度。

ABSTRACT

A dominant paradigm for deep learning based object detection relies on a "bottom-up" approach using "passive" scoring of class agnostic proposals. These approaches are efficient but lack of holistic analysis of scene-level context. In this paper, we present an "action-driven" detection mechanism using our "top-down" visual attention model. We localize an object by taking sequential actions that the attention model provides. The attention model conditioned with an image region provides required actions to get closer toward a target object. An action at each time step is weak itself but an ensemble of the sequential actions makes a bounding-box accurately converge to a target object boundary. This attention model we call AttentionNet is composed of a convolutional neural network. During our whole detection procedure, we only utilize the actions from a single AttentionNet without any modules for object proposals nor post bounding-box regression. We evaluate our top-down detection mechanism over the PASCAL VOC series and ILSVRC CLS-LOC dataset, and achieve state-of-the-art performances compared to the major bottom-up detection methods. In particular, our detection mechanism shows a strong advantage in elaborate localization by outperforming Faster R-CNN with a margin of +7.1% over PASCAL VOC 2007 when we increase the IoU threshold for positive detection to 0.7.

研究动机与目标

• 为克服依赖类别无关候选区域且缺乏整体场景上下文的自底向上目标检测方法的局限性。
• 开发一种自顶向下的检测机制，通过高层推理与视觉上下文主动探索目标位置。
• 在不使用区域建议网络或边界框回归模块的前提下实现精确的目标定位。
• 在严格IoU阈值下评估方法性能，此时定位精度最为关键。
• 证明单一统一的注意力模型可端到端完成检测、定位与优化。

提出的方法

• 该方法采用自顶向下的搜索策略，基于CNN模型生成的视觉注意力，通过依次应用动作（如上下左右移动）来调整边界框，从而定位目标。
• AttentionNet模型以图像区域为输入，输出当前边界框左上角与右下角的两个动作，以逐步收敛至目标物体。
• 每个动作单独作用时较弱，但作为序列整体可实现通过迭代裁剪与注意力引导导航来优化边界框。
• 整个检测流程由单一AttentionNet模型驱动，无需区域建议网络或后续回归模块。
• 检测过程仅依赖注意力模型的动作输出实现端到端处理，无需额外检测头或回归头。
• 引入一个可选的后处理阶段作为优化步骤，进一步提升定位精度，模拟传统边界框回归过程。

实验结果

研究问题

• RQ1 自顶向下的动作驱动方法是否能在定位精度上超越最先进自底向上的目标检测方法，尤其是在严格IoU阈值下？
• RQ2 单一视觉注意力模型在多大程度上可替代标准检测流程中的多个组件（如区域建议、分类器、回归器）？
• RQ3 通过自顶向下探索整合场景级上下文，相比自底向上方法，如何提升检测的鲁棒性？
• RQ4 随着时间推移，弱动作的组合是否能带来强于单个动作或传统回归优化的定位能力？
• RQ5 单一统一的注意力模型是否可在大规模基准（如ILSVRC CLS-LOC）上实现具有竞争力的性能，而无需模型集成？

主要发现

• 在PASCAL VOC 2007数据集上，IoU阈值为0.7时，所提AttentionNet方法达到52.3% mAP，比Faster R-CNN高出+7.1% mAP。
• AttentionNet在IoU从0.5提升至0.7时，mAP下降仅-17.6%，显著低于Faster R-CNN的-23.9%下降幅度，表明其具有更优的定位鲁棒性。
• 在ILSVRC CLS-LOC数据集上，AttentionNet实现Top-5定位误差为0.1473，优于所有先前的自底向上方法，仅低于2015年冠军方法（Faster R-CNN + ResNet-152）。
• 尽管2015年冠军方法误差更低（0.0902），但主要得益于其更优的分类性能（Top-5分类误差：0.0357），而AttentionNet的分类误差为0.0792，表明其在结构更简单的情况下仍具备强大的定位能力。
• 该方法仅使用单一AttentionNet模型，无需模型集成、区域建议或边界框回归，即达到最先进性能。
• 消融实验表明，迭代动作序列是实现高精度定位的关键，其在高IoU阈值下的性能下降显著低于基线方法。