[論文レビュー] Attentional Network for Visual Object Detection

Kota Hara, Ming-Yu Liu+2 more|arXiv (Cornell University)|Feb 6, 2017

Visual Attention and Saliency Detection参考文献 24被引用数 21

ひとこと要約

本論文では、物体候補領域全体にわたる順序的で可変サイズの注目領域（glimpse）を段階的に生成することで、人間の視覚的注意に類似した新たな深層学習アーキテクチャ、Attentional Object Detection (AOD) ネットワークを提案する。注視の教師ありアノテーションが存在しないため、強化学習を用いて訓練され、CaffeNetおよびVGG16バックボーンを用いた複数のPASCAL VOCベンチマークにおいて、ベースラインのFaster R-CNNと比較して一貫したmAP向上を達成した。

ABSTRACT

We propose augmenting deep neural networks with an attention mechanism for the visual object detection task. As perceiving a scene, humans have the capability of multiple fixation points, each attended to scene content at different locations and scales. However, such a mechanism is missing in the current state-of-the-art visual object detection methods. Inspired by the human vision system, we propose a novel deep network architecture that imitates this attention mechanism. As detecting objects in an image, the network adaptively places a sequence of glimpses of different shapes at different locations in the image. Evidences of the presence of an object and its location are extracted from these glimpses, which are then fused for estimating the object class and bounding box coordinates. Due to lacks of ground truth annotations of the visual attention mechanism, we train our network using a reinforcement learning algorithm with policy gradients. Experiment results on standard object detection benchmarks show that the proposed network consistently outperforms the baseline networks that does not model the attention mechanism.

研究の動機と目的

• 深層ニューラルネットワークに人間の多焦点注視に類似した注視をモデル化することで、視覚的物体検出を向上させること。
• 物体検出データセットにおける視覚的注視の教師ありアノテーションの欠如を解決すること。
• 適応的で位置・サイズ・アスペクト比が可変な注目領域（glimpse）を生成できる、学習可能でエンドツーエンドのアーキテクチャを設計すること。
• 順序的で注視に基づく特徴抽出が、単一の特徴抽出を用いるベースラインを上回ることを実証すること。

提案手法

• AODネットワークは、各注目領域が以前の観測に基づいて位置と形状を適応的に変更する、スタックされた再帰モジュールを用いて、候補領域全体にわたる注目領域の系列を生成する。
• 領域の注目（RoI）プーリング層が、最終的な畳み込み特徴マップ上の各注目領域から固定次元の特徴を抽出する。
• 再帰ネットワーク（LSTMに類似）が、各ステップで全結合層を用いて、注目領域の配置（x, y, 幅, 高さ）を更新しながら、注目領域特徴を時間経過とともに処理する。
• 最終的な意思決定（物体クラスとバウンディングボックス）は、すべての注目領域特徴の要素ごとの最大プーリングを経て、その後にソフトマックス分類ヘッドと回帰ヘッドを適用することで得られる。
• 教師あり注視アノテーションが存在しないため、検出mAPを最大化するように、方策勾配強化学習（REINFORCE）を用いてネットワークを訓練する。
• 変形可能な形状の注目領域をサポートしており、物体の外観やスケールの変化に応じて柔軟に受容野を適応可能にできる。

実験結果

リサーチクエスチョン

• RQ1 単一の注目領域を用いるベースラインと比較して、適応的で順序的な注目領域を有する深層ネットワークが、物体検出性能を向上させられるか？
• RQ2 注目領域の形状とサイズを変化させることで、複雑な物体検出シナリオにおける検出精度にどのような影響を与えるか？
• RQ3 教師あり注視アノテーションが存在しない状況でも、強化学習フレームワークが物体検出のための注視メカニズムを効果的に学習できるか？
• RQ4 精度と推論効率のバランスを考慮した場合、最適な注目領域数（T）は何か？
• RQ5 スケール、変形、外観の違いを示す多様な物体カテゴリに対して、注視メカニズムはどのように性能を発揮するか？

主な発見

• VGG16を用いたPASCAL VOC 2007ベンチマークでは、T=3の注目領域でmAPが67.5%に達し、ベースラインのFast R-CNN（66.9%）を上回った。
• VOC 2012では、T=3でmAPが66.7%に達し、Fast R-CNNの65.7%を上回り、複数のデータセットで一貫した向上を示した。
• VOC 2007+2012では、T=3の注目領域とVGG16を用いてmAPが71.3%に達し、Fast R-CNNの70.0%を上回った。
• VOC 2007++2012では、T=3のAODモデルがmAP69.4%を達成し、Fast R-CNNの68.4%を上回り、学習データ設定にかかわらず高いロバスト性を示した。
• アブレーションスタディにより、固定されたx/yシフトのみを許容する場合と比較して、任意形状の注目領域を許容することで性能が著しく向上したことが確認され、形状とスケールの適応性の重要性が裏付けられた。
• 性能向上は物体カテゴリ全体にわたり一貫しており、特に「person」、「bottle」、「sheep」などの難易度の高いクラスで顕著な改善が見られた。