[論文レビュー] Task-driven Visual Saliency and Attention-based Visual Question Answering

Yuetan Lin, Zhangyang Pang+2 more|arXiv (Cornell University)|Feb 22, 2017

Multimodal Machine Learning Applications参考文献 32被引用数 22

ひとこと要約

本稿では、視覚質問応答（VQA）のためのタスク駆動型視覚的注目メカニズムと、要素ごとの乗算に基づく新規な注目法を提案する。画像領域同士の関連性を考慮して、双方向LSTM（BiLSTM）を用いて領域ごとの注目重みを計算し、視覚的および言語的特徴を要素ごとの乗算で統合することで、COCO-VQAで最先端の性能を達成した。複数選択タスクでは63.69%、開放型タスクでは56.02%の正答率を記録し、複数の注目ベースのベースラインを上回った。

ABSTRACT

Visual question answering (VQA) has witnessed great progress since May, 2015 as a classic problem unifying visual and textual data into a system. Many enlightening VQA works explore deep into the image and question encodings and fusing methods, of which attention is the most effective and infusive mechanism. Current attention based methods focus on adequate fusion of visual and textual features, but lack the attention to where people focus to ask questions about the image. Traditional attention based methods attach a single value to the feature at each spatial location, which losses many useful information. To remedy these problems, we propose a general method to perform saliency-like pre-selection on overlapped region features by the interrelation of bidirectional LSTM (BiLSTM), and use a novel element-wise multiplication based attention method to capture more competent correlation information between visual and textual features. We conduct experiments on the large-scale COCO-VQA dataset and analyze the effectiveness of our model demonstrated by strong empirical results.

研究の動機と目的

• 既存のVQAモデルが、画像に関する質問を投げかける際に人間が注目する領域に十分に注目していないという問題に対処すること。
• タスク固有の関心パターンに基づいて、顕著な画像領域を事前選択することでVQAの性能を向上させること。
• 新規な要素ごとの乗算に基づく注目メカニズムを用いて、視覚と言語のモダリティ間の特徴統合を強化すること。
• 領域の事前選択と洗練された注目メカニズムが、複雑なアーキテクチャを必要とせずにもVQAの正答率を顕著に向上させられることを示すこと。

提案手法

• 画像領域間の相互関係をモデル化するための双方向LSTM（BiLSTM）を用いて、領域の重要性を計算するタスク駆動型視覚的注目メカニズムを提案する。
• BiLSTMを用いて画像領域間の空間的関係を符号化し、質問の対象になり得る領域を強調する注目重みを生成する。
• 視覚的および言語的特徴をより効果的に統合できる、要素ごとの乗算に基づく注目メカニズムを導入する。
• 視覚的および言語的特徴の要素ごとの積に対して最大プーリングを適用し、答え予測用のコンactかつ情報豊富な統合ベクトルを生成する。
• 複雑なステップごとの注目層を必要としない、シンプルだが効果的なVQAベースラインモデルに、提案された事前選択および注目メカニズムを統合する。
• 計算効率を考慮して3×3の領域グリッドを用いるが、小さな物体を捉える能力に制限があることを認識している。

実験結果

リサーチクエスチョン

• RQ1 VQAモデルは、質問の対象となる領域を人間の視覚的注目に近づけるように、どのようにして質問の焦点になり得る領域を特定できるか？
• RQ2 BiLSTMを用いたメカニズムは、画像領域間の依存関係を効果的にモデル化し、タスク固有の注目マップを生成できるか？
• RQ3 視覚的および言語的特徴の要素ごとの乗算は、連結や標準的な注目法よりも優れた統合をもたらすか？
• RQ4 顕著な領域の事前選択は、特に開放型および複数選択型の質問において、VQA性能をどの程度向上させるか？

主な発見

• 提案モデルは、COCO-VQAのテスト・デベロップメントセットにおいて、複数選択タスクで63.69%、開放型タスクで56.02%の正答率を達成し、複数の最先端モデルを上回った。
• テスト・スタンダードセットでは、複数選択タスクで63.99%、開放型タスクで56.42%の正答率を記録し、優れた一般化性能を示した。
• 「その他の回答タイプ」（物体認識やシーン認識を含む）において特に優れた性能を示し、関心領域の検出が効果的であることを示した。
• 可視化により、事前選択メカニズムが意味的に関連する領域（例：人、注目対象の物体）を強調していることが確認され、注目マップが質問の意味と整合している（例：天気関連の質問では衣服に注目）。
• 本手法は汎用性が高く、他の注目ベースのVQAモデルに統合することで性能向上が見込める。
• 100未満や14×14の領域グリッドを使用する他のモデルと比較して、3×3の領域特徴のみを用いても競争力のある結果を達成しており、効率性と有効性を示している。