[論文レビュー] Visual7W: Grounded Question Answering in Images

Yuke Zhu, Oliver Groth+2 more|arXiv (Cornell University)|Nov 11, 2015

Multimodal Machine Learning Applications参考文献 53被引用数 45

ひとこと要約

本稿では、画像領域に根ざした327,939組の複数選択式QAペアを備えた大規模なデータセットVisual7Wを紹介する。これにより、テキスト的回答および視覚的答えを伴う視覚的質疑応答（VQA）が可能になる。空間的アテンションを備えたLSTMモデルを提案し、55.6%の正確性を達成。これは先行モデルを著しく上回り、アテンションマップとオブジェクトの位置合わせの間で強い整合性を示している。

ABSTRACT

We have seen great progress in basic perceptual tasks such as object recognition and detection. However, AI models still fail to match humans in high-level vision tasks due to the lack of capacities for deeper reasoning. Recently the new task of visual question answering (QA) has been proposed to evaluate a model's capacity for deep image understanding. Previous works have established a loose, global association between QA sentences and images. However, many questions and answers, in practice, relate to local regions in the images. We establish a semantic link between textual descriptions and image regions by object-level grounding. It enables a new type of QA with visual answers, in addition to textual answers used in previous work. We study the visual QA tasks in a grounded setting with a large collection of 7W multiple-choice QA pairs. Furthermore, we evaluate human performance and several baseline models on the QA tasks. Finally, we propose a novel LSTM model with spatial attention to tackle the 7W QA tasks.

研究の動機と目的

• 視覚的質問応答における自然言語の質問と特定の画像領域との間のギャップを埋めるために、オブジェクトレベルの位置合わせを導入すること。
• テキスト的および視覚的両方の答えをサポートするベンチマークデータセットを構築し、根拠に基づく推論の評価を可能にすること。
• 人間（96.6%の正確性）と機械（LSTMベースラインで52.1%）の間の性能格差を、根拠のある視覚的QAタスクにおいて調査すること。
• 質問に応じて関連する画像領域に注目できるように、空間的アテンションを活用する深層学習モデルを開発すること。
• トレーニングデータにおけるオブジェクトカテゴリの頻度が、モデルの性能およびレアカテゴリへの知識移行に与える影響を分析すること。

提案手法

• COCOの47,300枚の画像に、7W質問タイプ（何、どこ、いつ、誰、なぜ、どう、どれ）をカバーする327,939組のQAペアをアノテート。
• 質問または回答内の各オブジェクトの言及を、画像内のバウンディングボックスにリンクすることで、オブジェクトレベルの位置合わせを提供。
• 質問トークンを逐次処理しながら、画像領域に注目する新しいLSTMベースのモデルを導入。
• 時間軸にわたる最大プーリングを用いて、14×14の画像領域グリッド上のアテンションヒートマップを生成し、モデルがどこに注目しているかを可視化。
• 複数選択アノテーション（130万件）と人間による評価を用いて、データ品質およびモデル性能を検証。
• 可視化のため、アテンションヒートマップにガウスノイズを適用し、正解のオブジェクトバウンディングボックスと比較。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルの位置合わせは、視覚的質問応答モデルの性能と解釈可能性を向上させることができるか？
• RQ2 最先端のモデルの性能は、根拠のある視覚的QAタスクにおいて人間の性能と比べてどの程度か？
• RQ3 LSTMモデルにおける空間的アテンションは、画像内の正解オブジェクト位置とどの程度一致するか？
• RQ4 トレーニングデータにおけるオブジェクトカテゴリの頻度が、モデルの正確性に与える影響、特に珍しいカテゴリにおいては？
• RQ5 モデルは、頻度の高いカテゴリから珍しいカテゴリへの知識移行を効果的に行えるか？

主な発見

• Visual7Wデータセットにおける人間の正確性は96.6%に達し、最良のベースラインLSTMモデルの52.1%と比べて顕著なギャップを示している。
• 提案されたLSTM-Attモデルは55.6%の正確性を達成し、『どう』を除くすべての質問タイプで、すべてのベースラインを上回っている。
• モデルのアテンションヒートマップは、24%の確率でピークアテンションが正解オブジェクトのバウンディングボックス内に位置しており、関連領域と強い整合性を示している。
• トレーニングデータで頻度が低いオブジェクトカテゴリに対しても、モデルは50%以上の正確性を達成しており、頻度の高いカテゴリからレアカテゴリへの知識移行が効果的に行われていることを示している。
• 『どう』の質問ではモデルの性能が低く、因果的または手順的な関係の推論に限界があることを示唆している。
• 画像が存在しない状況では、LSTMモデルは46.2%の正確性を示し、同じタスクで人間の正確性（35.3%）を著しく上回っており、視覚的文脈が欠落した状況では回答の事前確率に強く依存していることがわかる。