[論文レビュー] Action-Driven Object Detection with Top-Down Visual Attentions

Donggeun Yoo, Sunggyun Park+3 more|arXiv (Cornell University)|Dec 20, 2016

Advanced Neural Network Applications参考文献 43被引用数 5

ひとこと要約

本論文は、視覚的注意モデルであるAttentionNetを用いた、アクション駆動型でトップダウンなオブジェクト検出手法を提案する。この手法は、下流の提案に依存せず、順序付きのアクション（例：左に移動、下に移動）を繰り返し適用することで、オブジェクトのバウンディングボックスを段階的に改善する。PASCAL VOC 2007およびILSVRC CLS-LOCで最先端の性能を達成し、IoU=0.7におけるmAPでFaster R-CNNを+7.1%上回る。これは、文脈に配慮したアクションベースの改善によって、局所化精度が優れていることを示している。

ABSTRACT

A dominant paradigm for deep learning based object detection relies on a "bottom-up" approach using "passive" scoring of class agnostic proposals. These approaches are efficient but lack of holistic analysis of scene-level context. In this paper, we present an "action-driven" detection mechanism using our "top-down" visual attention model. We localize an object by taking sequential actions that the attention model provides. The attention model conditioned with an image region provides required actions to get closer toward a target object. An action at each time step is weak itself but an ensemble of the sequential actions makes a bounding-box accurately converge to a target object boundary. This attention model we call AttentionNet is composed of a convolutional neural network. During our whole detection procedure, we only utilize the actions from a single AttentionNet without any modules for object proposals nor post bounding-box regression. We evaluate our top-down detection mechanism over the PASCAL VOC series and ILSVRC CLS-LOC dataset, and achieve state-of-the-art performances compared to the major bottom-up detection methods. In particular, our detection mechanism shows a strong advantage in elaborate localization by outperforming Faster R-CNN with a margin of +7.1% over PASCAL VOC 2007 when we increase the IoU threshold for positive detection to 0.7.

研究の動機と目的

• クラスに依存しない提案に依存する下流のオブジェクト検出手法の限界、特に包括的なシーンの文脈を欠いている点を克服すること。
• 高レベルの推論と視覚的文脈を用いて、オブジェクトの位置を能動的に探索するトップダウン型検出メカニズムを開発すること。
• 領域提案ネットワークやバウンディングボックス回帰モジュールを一切使用せずに、正確なオブジェクト局所化を達成すること。
• 局所化精度が最も重要な厳密なIoU閾値下での手法の性能を評価すること。
• 単一で統合された注意モデルが、エンドツーエンドで検出、局所化、改善を実行できることを示すこと。

提案手法

• 本手法は、オブジェクトがCNNベースのモデルからの視覚的注意に基づいて、順次アクション（例：上に移動／下に移動／左に移動／右に移動）を適用することでバウンディングボックスを段階的に改善するトップダウン探索戦略を採用する。
• AttentionNetモデルは、画像領域を入力とし、現在のバウンディングボックスの左上および右下のコーナーに対するアクションのペアを出力する。
• 個々のアクションは弱いが、それらが順序付きに組み合わさることで、繰り返しのクロッピングと注意誘導型ナビゲーションによりバウンディングボックスが改善される。
• 検出パイプライン全体が単一のAttentionNetモデルによって駆動され、領域提案ネットワークや後処理の回帰モジュールの必要性がなくなる。
• 検出ヘッドや回帰ヘッドを追加せず、単に注意モデルのアクション出力のみを用いてエンドツーエンドの検出を実現する。
• 局所化精度をさらに向上させるために、オプションの後処理ステージとして改善ステップを導入し、従来のバウンディングボックス回帰を模倣する。

実験結果

リサーチクエスチョン

• RQ1 厳密なIoU閾値下でも、局所化精度において最先端の下流型オブジェクト検出手法を上回るトップダウン型アクション駆動型アプローチが可能かどうか。
• RQ2 単一の視覚的注意モデルが、標準的な検出パイプラインにおける複数のモジュール（例：領域提案、分類器、回帰器）をどれだけ代替できるか。
• RQ3 トップダウン型探索によるシーンレベルの文脈統合が、下流型手法と比較して検出のロバスト性をどのように向上させるか。
• RQ4 時間経過による弱いアクションの集合が、個々のアクションや従来の回帰ベースの改善よりも強力な局所化を達成するか。
• RQ5 モデルアンサンブルを一切用いず、単一の統合注意モデルがILSVRC CLS-LOCのような大規模ベンチマークでも競争力のある性能を達成できるか。

主な発見

• IoU閾値が0.7のPASCAL VOC 2007において、提案されたAttentionNet手法は52.3%のmAPを達成し、Faster R-CNNを+7.1% mAP上回った。
• AttentionNet（改善あり）では、IoU=0.5からIoU=0.7への性能低下が-17.6%にとどまるのに対し、Faster R-CNNでは-23.9%と顕著に大きい。これは、局所化のロバスト性が優れていることを示している。
• ILSVRC CLS-LOCデータセットでは、AttentionNetのTop-5局所化誤差は0.1473であり、2015年の優勝者（Faster R-CNN with ResNet-152を除き）のすべての先行手法を上回った。
• 2015年の優勝者（誤差0.0902）は、より優れた分類性能（Top-5 CLS誤差：0.0357）に起因しているが、AttentionNetの分類誤差は0.0792であり、シンプルなアーキテクチャでありながらも強力な局所化能力を示している。
• モデルアンサンブル、領域提案、バウンディングボックス回帰を一切使用せず、単一のAttentionNetモデルでのみ最先端の結果を達成した。
• アブレーションスタディにより、繰り返しのアクションシーケンスが正確な局所化の鍵であることが確認され、高IoU閾値下での性能低下がベースライン手法よりも顕著に小さいことが示された。