[論文レビュー] ContextLocNet: Context-Aware Deep Network Models for Weakly Supervised Localization

Vadim Kantorov, Maxime Oquab+2 more|arXiv (Cornell University)|Sep 14, 2016

Advanced Neural Network Applications参考文献 32被引用数 43

ひとこと要約

本論文は、画像ラベルのみを用いて弱教師ありオブジェクト検出を実現する文脈に配慮した深層学習フレームワーク、ContextLocNetを提案する。オブジェクト領域が周囲の文脈と意味的に一貫しているか、あるいは明確に異なるように促進される、加法的および対照的文脈モデリングを統合することで、局所化精度が向上し、PASCAL VOC 2007および2012ベンチマークで最先端の性能を達成した。

ABSTRACT

We aim to localize objects in images using image-level supervision only. Previous approaches to this problem mainly focus on discriminative object regions and often fail to locate precise object boundaries. We address this problem by introducing two types of context-aware guidance models, additive and contrastive models, that leverage their surrounding context regions to improve localization. The additive model encourages the predicted object region to be supported by its surrounding context region. The contrastive model encourages the predicted object region to be outstanding from its surrounding context region. Our approach benefits from the recent success of convolutional neural networks for object recognition and extends Fast R-CNN to weakly supervised object localization. Extensive experimental evaluation on the PASCAL VOC 2007 and 2012 benchmarks shows hat our context-aware approach significantly improves weakly supervised localization and detection.

研究の動機と目的

• バウンディングボックスのラベルが一切ない状況下で、画像ラベルのみを用いてオブジェクトを局所化する課題に取り組むこと。
• 既存手法がしばしば顕著な部分（例：頭部）に局所化してしまうという限界を克服すること。
• 周囲の領域やグローバルな画像の文脈といった視覚的文脈を、暗黙の教師信号として活用し、オブジェクト局所化を精緻化すること。
• 領域ベースのCNNフレームワークの局所化ヘッドに文脈モデリングを統合した深層ネットワークアーキテクチャを設計すること。
• オブジェクト領域と文脈領域間の意味的整合性（加法的）または対照性（対照的）を強制することで、局所化境界の精度を向上させること。

提案手法

• オブジェクト領域とその周囲の文脈との間のクラススコアの合計を最大化する加法的モデルを提案。意味的整合性を促進することで、オブジェクト領域と文脈が一貫した意味的特徴を持つようにする。
• オブジェクト領域と文脈領域の間のクラススコアの差を最大化する対照的モデルを導入。オブジェクトが背景から明確に区別されるようにすることで、対象の特徴が強調される。
• Fast R-CNNフレームワークを拡張し、ROIと文脈の両方の特徴を処理する文脈に配慮した局所化ヘッドを導入。
• ROIプーリングを用いて候補領域およびその周囲の文脈からの特徴を抽出し、弱教師あり学習に適したエンドツーエンドの学習を可能にする。
• 画像ラベルに基づく交差エントロピー損失を用いてモデルを学習し、文脈モデリングを局所化ブランチに統合する。
• 加法的モデルと対照的モデルを別々に評価し、併用する場合も評価。VOC 2007および2012ベンチマークを用い、標準的な指標（mAP、CorLoc）を用いる。

実験結果

リサーチクエスチョン

• RQ1 バウンディングボックスのラベルが存在しない状況下でも、視覚的文脈を暗黙の教師信号として効果的に活用できるか？
• RQ2 オブジェクト領域と文脈領域間の意味的整合性（加法的ガイド）を強制することで、局所化境界の精度が向上するか？
• RQ3 オブジェクト領域と文脈領域間の意味的対照性（対照的ガイド）を強制することで、頭部や目といった顕著な部分に過剰に適合する過学習が軽減されるか？
• RQ4 多様なオブジェクトクラスやごみだらけのシーンにおいて、加法的および対照的文脈モデリングの性能とロバスト性はどのように比較されるか？
• RQ5 Fast R-CNNのような既存の領域ベースのCNNフレームワークに、文脈に配慮したモデリングを統合することで、最先端のWSOL性能が達成可能か？

主な発見

• 対照的モデルは加法的モデルおよびベースライン手法を著しく上回り、VOC 2007では55.8%のmAP、VOC 2012では54.8%のCorLocを達成した。
• 対照的Sモデルは、VOC 2007で71.6%のmAP、VOC 2012で62.9%のmAPを達成し、オブジェクトカテゴリにわたる強い汎化性能を示した。
• 定性的な結果から、ContextLocNetは、頭部や一部に局所化してしまうWSDDNと比較して、人物や動物の全体像をより正確に局所化していることが示された。
• 加法的モデルはオブジェクト境界を越えて拡張するのを防ぎ、対照的モデルは小さな顕著な部分に過剰に局所化するのを防ぐ。
• 加法的および対照的モデルの共同学習は性能向上をもたらさず、両者には補完的ではあるが加法的でないインダクティブバイアスが含まれている可能性を示唆した。
• 同じクラスの複数のインスタンスが存在する画像では失敗するが、これは弱教師あり手法の知られている失敗モードであり、大多数のケースではベースラインを上回った。