[論文レビュー] VQA: Visual Question Answering

Aishwarya Agrawal, Jiasen Lu+5 more|arXiv (Cornell University)|May 3, 2015

Multimodal Machine Learning Applications参考文献 41被引用数 1,094

ひとこと要約

この論文は、視覚的理解と言語的推論を統合して、画像に関する開放的で自然言語の質問に答えることを要する、マルチモーダル理解を活用する「視覚的質問応答（VQA）」というタスクを紹介する。本研究では、約25万枚の画像、約76万個の質問、約1,000万個の回答を含む大規模なデータセットを提供し、視覚、言語、推論を統合するモデルの自動評価とベンチマークを可能にする。最先端の手法は、ベースラインと比較して顕著な性能向上を達成している。

ABSTRACT

We propose the task of free-form and open-ended Visual Question Answering (VQA). Given an image and a natural language question about the image, the task is to provide an accurate natural language answer. Mirroring real-world scenarios, such as helping the visually impaired, both the questions and answers are open-ended. Visual questions selectively target different areas of an image, including background details and underlying context. As a result, a system that succeeds at VQA typically needs a more detailed understanding of the image and complex reasoning than a system producing generic image captions. Moreover, VQA is amenable to automatic evaluation, since many open-ended answers contain only a few words or a closed set of answers that can be provided in a multiple-choice format. We provide a dataset containing ~0.25M images, ~0.76M questions, and ~10M answers (www.visualqa.org), and discuss the information it provides. Numerous baselines and methods for VQA are provided and compared with human performance. Our VQA demo is available on CloudCV (http://cloudcv.org/vqa).

研究の動機と目的

• 視覚的理解と言語的推論を要する、視覚と言語を統合する新しい挑戦的ベンチマークとしての視覚的質問応答（VQA）を提案すること。
• マルチモーダル理解の研究を支援するため、約25万枚の画像、約76万個の質問、約1,000万個の回答を含む大規模かつ多様なデータセットを構築すること。
• 開放的質問と複数選択形式の回答フォーマットを通じて、VQAモデルの自動的かつ定量的な評価を可能にすること。
• コンピュータビジョン、自然言語処理、知識推論を統合するモデルを統一されたタスクで評価する基盤を確立すること。
• 明確な性能向上の経路を有するが、同時にアクセス可能で挑戦的であるタスクを提供することで、AI分野の進展を促進すること。

提案手法

• VQAタスクは、与えられた画像に関する自由形式の自然言語による回答を生成することを定義し、視覚的・言語的理解の統合を要する。
• MS COCOの画像と新しい抽象的シーンデータセットを用いて大規模なデータセットを構築し、1枚の画像に対して3つの質問をアマゾン・メカニカル・トゥーカーを活用して収集した。
• 各質問に対して10名の人が回答し、多様性と信頼性の高い真値回答を保証することで、評価用の基準を整えた。
• データセットは2つの評価フォーマットをサポートする：開放的（自由形式の回答）と複数選択（事前に定義された選択肢の中から選択）。これにより、生成型と分類型の両方の評価が可能になる。
• ベースラインは、最先端の視覚特徴（例：深層畳み込みネットワークからのもの）と、質問の符号化および回答生成に再帰的ニューラルネットワークを組み合わせて開発した。
• VQA研究分野における進歩を追跡し、イノベーションを促進するため、年次コンテストとワークショップを主催している。

実験結果

リサーチクエスチョン

• RQ1 画像に関する開放的質問に答えるために必要な視覚的・言語的推論の種類は何か。また、質問のカテゴリごとにその特徴はどのように異なるか。
• RQ2 現在のモデルは人間の性能と比較してどの程度の性能を示すのか。主な失敗要因は何か。
• RQ3 視覚特徴の品質や言語モデリングの質が、VQAの性能にどの程度影響を与えるか。
• RQ4 常識的知識や世界知識の統合が、VQAの回答精度に与える影響はどの程度か。
• RQ5 特に自由形式の回答に対して、自動評価指標はVQA分野の進捗を信頼性高く追跡できるか。

主な発見

• VQAデータセットには約25万枚の画像、約76万個の質問、約1,000万個の回答が含まれており、マルチモーダル理解の分野で最大級かつ多様性に富んだベンチマークの一つである。
• データセットには、MS COCOからの実世界の画像と、視覚的複雑さから高レベルの推論を分離するように設計された抽象的シーンが含まれている。
• 深層視覚特徴と再帰的言語モデルを用いた複数のベースラインは、測定可能な性能を示したが、人間の性能と比較して依然として大きな格差が存在する。
• 特に複数選択形式を通じて、タスクは自動評価に適しており、信頼性の高いスケーラブルなベンチマークが可能である。
• 質問と回答の多様性は、画像キャプションを上回っており、VQAが視覚的・言語的理解のより広範な範囲を捉えていることを示している。
• VQAイニシャチブには、マルチモーダルAI研究分野におけるコミュニティ全体の進展と標準化を促進する年次コンテストとワークショップが含まれている。