[论文解读] ContextLocNet: Context-Aware Deep Network Models for Weakly Supervised Localization

Vadim Kantorov, Maxime Oquab+2 more|arXiv (Cornell University)|Sep 14, 2016

Advanced Neural Network Applications参考文献 32被引用 43

一句话总结

本文提出 ContextLocNet，一种利用仅图像级别标签的上下文感知深度学习框架，用于弱监督目标定位。通过整合加法式与对比式上下文建模——即鼓励目标区域与其周围上下文在语义上保持一致或相异——ContextLocNet 提升了定位精度，在 PASCAL VOC 2007 和 2012 基准上达到最先进性能。

ABSTRACT

We aim to localize objects in images using image-level supervision only. Previous approaches to this problem mainly focus on discriminative object regions and often fail to locate precise object boundaries. We address this problem by introducing two types of context-aware guidance models, additive and contrastive models, that leverage their surrounding context regions to improve localization. The additive model encourages the predicted object region to be supported by its surrounding context region. The contrastive model encourages the predicted object region to be outstanding from its surrounding context region. Our approach benefits from the recent success of convolutional neural networks for object recognition and extends Fast R-CNN to weakly supervised object localization. Extensive experimental evaluation on the PASCAL VOC 2007 and 2012 benchmarks shows hat our context-aware approach significantly improves weakly supervised localization and detection.

研究动机与目标

• 解决仅有图像级别标签而无边界框标注的弱监督目标定位（WSOL）挑战，避免昂贵的边界框标注成本。
• 克服现有方法通常仅定位判别性部分（如头部）而非完整目标的局限性。
• 利用视觉上下文——包括周围区域与全局图像上下文——作为隐式监督，以优化目标定位。
• 设计一种深度神经网络架构，将上下文建模整合至基于区域的 CNN 框架的定位头中。
• 通过强制对象区域与上下文区域之间的语义一致性（加法）或对比性（对比），提升定位边界精度。

提出的方法

• 提出两个上下文感知子网络：加法模型通过最大化感兴趣区域（ROI）与其周围上下文之间的类别得分之和，促进语义一致性。
• 引入对比模型，通过最大化 ROI 与其上下文之间类别得分的差异，增强对象相对于背景的区分度。
• 在 Fast R-CNN 框架基础上扩展出上下文感知的定位头，通过区域池化处理 ROI 和上下文特征。
• 使用 ROI 池化从候选区域及其周围上下文提取特征，支持弱监督下的端到端训练。
• 使用图像级别标签的交叉熵损失进行模型训练，将上下文建模集成至定位分支中。
• 分别评估加法与对比模型，以及二者联合使用的效果，采用 VOC 2007 和 2012 基准及标准指标（mAP、CorLoc）进行评估。

实验结果

研究问题

• RQ1 在无边界框标注的情况下，视觉上下文能否有效作为弱监督目标定位中的隐式监督？
• RQ2 在对象与上下文区域之间强制语义一致性（加法引导）是否能提升定位边界的精度？
• RQ3 在对象与上下文区域之间引入语义对比（对比引导）是否能减少对头部或眼睛等判别性部分的过拟合？
• RQ4 在多样化的物体类别与杂乱场景中，加法与对比上下文建模在性能与鲁棒性方面如何比较？
• RQ5 能否将上下文感知建模集成至现有基于区域的 CNN 框架（如 Fast R-CNN）中，以实现最先进水平的 WSOL 性能？

主要发现

• 对比模型显著优于加法模型与基线方法，在 VOC 2007 上达到 55.8% mAP，在 VOC 2012 上达到 54.8% CorLoc。
• 对比 S 模型在 VOC 2007 上达到 71.6% mAP，在 VOC 2012 上达到 62.9% mAP，展现出在各类物体上的强大泛化能力。
• 定性结果表明，ContextLocNet 比 WSDDN 更准确地定位完整物体范围（如整个人物与动物），后者常仅定位头部或部分区域。
• 加法模型可防止定位区域过度扩展至对象边界之外，而对比模型可防止定位区域过度收缩至小的判别性部分。
• 联合训练加法与对比模型并未提升性能，表明二者可能捕捉了互补但非可加的归纳偏置。
• 该方法在存在同一类别多个实例的图像上失效，这是弱监督方法的已知失败模式，但在大多数情况下仍优于基线方法。