[論文レビュー] Survey of Visual Question Answering: Datasets and Techniques

Akshay Gupta|arXiv (Cornell University)|May 10, 2017

Multimodal Machine Learning Applications参考文献 29被引用数 22

ひとこと要約

本サーベイは、視覚的質疑応答（VQA）データセットおよびモデルの包括的概要を提供し、アプローチを非ディープラーニング、注意機構なしのディープラーニング、注意機構を備えたディープラーニング、ハイブリッドモデルの4つに分類する。注意機構と知識統合が性能向上に顕著に寄与しており、特に推論を要するおよび知識依存のタスクにおいて、階層的共同注意（Hierarchical Co-Attention）やAsk Me Anything（AMA）といったモデルが最先端の結果を達成していることが明らかになった。

ABSTRACT

Visual question answering (or VQA) is a new and exciting problem that combines natural language processing and computer vision techniques. We present a survey of the various datasets and models that have been used to tackle this task. The first part of the survey details the various datasets for VQA and compares them along some common factors. The second part of this survey details the different approaches for VQA, classified into four types: non-deep learning models, deep learning models without attention, deep learning models with attention, and other models which do not fit into the first three. Finally, we compare the performances of these approaches and provide some directions for future work.

研究の動機と目的

• スケール、アノテーション手法、質問・回答の多様性の観点から、主なVQAデータセットを体系的にレビューおよび比較すること。
• 非ディープラーニング、ディープラーニング（注意機構なし）、ディープラーニング（注意機構あり）、ハイブリッドモデルの4つのクラスに分類してVQAモデルを分類・分析すること。
• 標準的なVQAベンチマーク上で異なるモデルアーキテクチャの性能を評価し、精度向上を促進する要因を同定すること。
• 外部知識ベースが、世界知識を要する質問においてVQA性能をどのように向上させるかを検討すること。
• 回答生成、推論の複雑さ、性能の上限に関するオープンチャレンジおよび今後の研究方向性を同定すること。

提案手法

• 画像のソース、アノテーション手法（人間によるもの vs. 自動生成）、質問タイプ、回答形式に基づいてVQAデータセットを分類する。
• VQAモデルを4種類に分類する：非ディープラーニング、注意機構なしのディープラーニング、注意機構（例：注意メカニズム）を備えたディープラーニング、外部知識を統合するハイブリッドモデル。
• VQA、COCO-QA、DAQUARなどのデータセット上で、正確性、WUPSスコア、トップ1/トップ5正確性といった標準的指標を用いてモデルの性能を評価する。
• 画像と質問の特徴に注目する、階層的共同注意（Hierarchical Co-Attention）のような注意メカニズムを分析し、複雑な質問において性能向上を実現していることを確認する。
• DBpediaなどの外部知識ベースを、属性ベースのクエリとDoc2Vecを用いた文書要約により、AMAモデルの回答生成を強化する形で統合する。
• 注意機構と知識ベースへのアクセスを組み合わせたハイブリッドモデリング戦略を提案し、外部知識の使用タイミングを端末から微分可能な意思決定に統合する可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 異なるVQAデータセットは、スケール、アノテーション手法、質問・回答の多様性の観点でどのように比較できるか？
• RQ2 非ディープラーニング、注意機構なしのディープラーニング、注意機構ありのディープラーニングモデルは、標準的なVQAベンチマーク上で相対的にどの程度の性能を示すか？
• RQ3 外部知識ベースを統合することで、特に世界知識を要する質問においてVQA性能はどの程度向上するか？
• RQ4 特に画像と質問の間で共同注意が行われる場合、注意メカニズムは複雑または長文の質問においてモデル性能をどのように向上させるか？
• RQ5 回答生成、推論の複雑さ、性能の上限に関する主なオープンチャレンジは何か？

主な発見

• 特に階層的共同注意ネットワーク（CoAtt）を備えたディープラーニングモデルは、注意機構なしのモデルを上回り、推論を要するタスクにおいても最先端の性能を達成している。
• DBpedia知識ベースを属性ベースのクエリとDoc2Vec要約により統合したAsk Me Anything（AMA）モデルは、COCO-QAで最高の性能を示しており、世界知識を要する回答の向上に外部知識が寄与していることが示された。
• 回答タイプを生成前に予測するATPモデルは、注意機構なしのモデルを上回っており、明示的な注意機構がなくても、構造化された推論が性能向上に寄与することが示された。
• ニューラルモジュールネットワーク（NMN）のようなモデルは、合成的で推論を要するデータセットで優れた性能を示しており、自動プログラム構成が複雑なVQAに対して有望な道筋であることが示唆された。
• COCO-QAではVQAの性能が顕著に低く抑えられており、これは自動生成されたデータセットであることが要因であり、推論の深さに制限がある可能性があり、より良い評価ベンチマークの必要性が示された。
• 自由形式の回答生成における効果的な評価手法の欠如が依然として深刻な課題であり、この分野における改善された指標とデータセットの整備が急務であることが浮き彫りになった。