[論文レビュー] Bottom-Up and Top-Down Attention for Image Captioning and VQA.

Peter Anderson, Xiaodong He+5 more|arXiv (Cornell University)|Jul 25, 2017

Multimodal Machine Learning Applications参考文献 42被引用数 281

ひとこと要約

本論文は、画像キャプション生成および視覚的質問応答（VQA）のための新しいボトムアップおよびトップダウンの注目メカニズムを提案する。Faster R-CNNからのオブジェクト候補と動的特徴重み付けを組み合わせることで、視覚的接地性を向上させる。この手法はMSCOCO（CIDEr 117.9、SPICE 21.5、BLEU-4 36.9）で最先端の結果を達成し、2017年VQAチャレンジで優勝した。

ABSTRACT

Top-down visual attention mechanisms have been used extensively in image captioning and visual question answering (VQA) to enable deeper image understanding through fine-grained analysis and even multiple steps of reasoning. In this work, we propose a combined bottom-up and top-down attention mechanism that enables attention to be calculated at the level of objects and other salient image regions. This is the natural basis for attention to be considered. Within our approach, the bottom-up mechanism (based on Faster R-CNN) proposes image regions, each with an associated feature vector, while the top-down mechanism determines feature weightings. Applying this approach to image captioning, our results on the MSCOCO test server establish a new state-of-the-art for the task, achieving CIDEr / SPICE / BLEU-4 scores of 117.9, 21.5 and 36.9, respectively. Demonstrating the broad applicability of the method, applying the same approach to VQA we obtain first place in the 2017 VQA Challenge.

研究の動機と目的

• オブジェクトおよび顕著な画像領域のレベルでの微細な視覚的注目を可能にすることで、画像キャプション生成およびVQAの性能を向上させること。
• 既存のトップダウン注目メカニズムが画像領域における明確な接地性を欠いているという制限を解消すること。
• ボトムアップの領域候補とトップダウンの注目重み付けを組み合わせることで、より正確で解釈可能な視覚的推論を実現すること。
• 画像キャプション生成およびVQAの両方のタスクに適用可能な統一されたフレームワークを確立し、性能を向上させること。

提案手法

• ボトムアップ機構は、Faster R-CNNを用いて候補となる画像領域を生成し、それぞれに特徴ベクトルを対応付ける。
• トップダウン機構は、現在のデコードステップまたは質問文の文脈に基づいて、これらの領域特徴の注目重みを計算する。
• 注目は個々のオブジェクトおよび顕著な領域レベルで適用され、焦点を当てた視覚的推論を可能にする。
• 選択された領域からの特徴ベクトルが集約され、画像キャプション生成のデコーダーでの文脈や、VQAの推論モジュールでの文脈として使用される。
• エンド・トゥ・エンド最適化を用いて、画像キャプション生成およびVQAタスクを同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 ボトムアップの領域候補とトップダウンの注目を組み合わせることで、画像キャプション生成における視覚的接地性が向上するか？
• RQ2 提案された注目メカニズムは、画像キャプション生成およびVQAの両タスクにおいて性能を向上させるか？
• RQ3 同じ注目メカニズムが、複数のビジョン・アンド・ランゲージベンチマークで最先端の結果を達成できるか？
• RQ4 このモデルの注目分布は、純粋にトップダウンまたはボトムアップのアプローチと比べてどのように異なるか？

主な発見

• 本モデルは、MSCOCOのテストサーバーでCIDErスコア117.9を達成し、新たな最先端のスコアを記録した。
• MSCOCOベンチマークでは、SPICEスコア21.5およびBLEU-4スコア36.9を達成した。
• 同じアーキテクチャは2017年VQAチャレンジで優勝を獲得し、広範な適用可能性を示した。
• ボトムアップの領域候補とトップダウンの注目を統合することで、より正確で解釈可能な視覚的注目が実現した。