[論文レビュー] Visual Question Answering using Deep Learning: A Survey and Performance Analysis

Yash Srivastava, Vaishnav Murali+2 more|arXiv (Cornell University)|Aug 27, 2019

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本調査は、深層学習に基づく視覚的質疑応答（VQA）の包括的概要を提供し、主要なデータセット、スタックドアテンションネットワークや2017年VQAコンテスト優勝モデルといった最先端のモデル、およびVQAおよびVisual7Wデータセットにおける実験的結果を分析している。Teneyらのモデルは、VQAデータセットで最高の正確度67.23％を達成し、VQAシステムにおけるアテンション機構とクロスモーダル特徴統合の有効性を示している。

ABSTRACT

The Visual Question Answering (VQA) task combines challenges for processing data with both Visual and Linguistic processing, to answer basic `common sense' questions about given images. Given an image and a question in natural language, the VQA system tries to find the correct answer to it using visual elements of the image and inference gathered from textual questions. In this survey, we cover and discuss the recent datasets released in the VQA domain dealing with various types of question-formats and robustness of the machine-learning models. Next, we discuss about new deep learning models that have shown promising results over the VQA datasets. At the end, we present and discuss some of the results computed by us over the vanilla VQA model, Stacked Attention Network and the VQA Challenge 2017 winner model. We also provide the detailed analysis along with the challenges and future research directions.

研究の動機と目的

• VQA、Visual7W、Tally-QA、KVQAを含む最近のVQAデータセットの体系的レビューを行い、その多様性と耐性を評価すること。
• アテンション機構、マルチモーダル統合、知識統合に焦点を当てた、VQAの最先端のディープラーニングアーキテクチャの分析。
• 標準ベンチマークデータセット上で、3つの主要なモデル—Vanilla VQA、スタックドアテンションネットワーク、Teneyら（2017年VQAコンテスト優勝）の性能を評価・比較すること。
• 共通の推論、トレーニングデータのバイアス、視覚的および言語的変異に対する一般化の課題といった、VQAにおける持続的な課題の特定。
• 改善された特徴表現、関係的推論、外部知識ソースの統合を含む、今後の研究方向性の提示。

提案手法

• 本論文は、質問タイプ、画像の出どころ、アノテーション戦略を含む主要なVQAデータセットを調査し、モデルの耐性あるトレーニングと評価に適しているかを評価する。
• Vanilla VQA（CNN + LSTM）、スタックドアテンションネットワーク（SAN）、2017年VQAコンテスト優勝モデル（Teneyら）を含むディープラーニングアーキテクチャをレビューし、アテンション機構とマルチモーダル統合に重点を置く。
• 本研究では、VQAおよびVisual7Wデータセット上で、Vanilla VQA、SAN、Teneyらの3つのモデルを、交差エントロピー損失関数とAdam最適化手法を用いて100エポックにわたり実装・評価した。
• モデルは、画像特徴抽出にVGG16、質問符号化にLSTMを用い、視覚的および言語的特徴を一致させるためにアテンションモジュールを統合して、エンドツーエンドでトレーニングした。
• パフォーマンスは、オープンエンドド質問応答タスクにおけるトップ1正確度で測定され、標準的および最近のベンチマークデータセットで結果が報告された。
• マルチホップアテンション、特徴ゲーティング、リサイダル接続といったアーキテクチャ的革新の影響を評価するため、アブレーションスタイリの比較分析が行われた。

実験結果

リサーチクエスチョン

• RQ1 異なるVQAデータセットは、質問の複雑さ、画像の多様性、アノテーション品質の観点でどのように異なるのか。また、これらの差異はモデルの一般化性能にどのような影響を与えるか。
• RQ2 現代のVQAモデルにおける主なアーキテクチャ的革新は何か。それらは、Vanilla VQAのような初期のアプローチよりも性能を向上させる要因となるのか。
• RQ3 アテンション機構とマルチモーダル統合戦略は、視覚的および言語的入力を同時に処理する能力をどのように向上させるのか。
• RQ4 TeneyらのモデルやPythia v1.0といった最近のモデルは、多様なVQAベンチマークにおいて、精度と耐性の観点で、以前のモデルをどの程度上回っているのか。
• RQ5 VQAパフォーマンスにおける持続的な制限要因は何か。また、視覚的質疑応答における人間水準の推論を達成するためには、どのような新しい研究方向性が必要か。

主な発見

• Teneyらのモデルは、VQAデータセットで67.23％の最高正確度を達成し、Visual7Wデータセットでは65.82％を記録し、Vanilla VQAおよびスタックドアテンションネットワークの両方を上回った。
• スタックドアテンションネットワークは、Vanilla VQAモデルより性能が向上し、VQAデータセットで60.49％、Visual7Wデータセットで61.67％の正確度を達成した。これは、階層的アテンションの利点を示している。
• Vanilla VQAモデルは、VQAデータセットで58.11％、Visual7Wデータセットで56.93％の正確度を達成し、そのシンプルさにもかかわらず強力なベースラインとしての役割を確認した。
• CLEVRデータセットは93％の高い正確度を達成し、合成的で関係が豊富な質問が曖昧さを低減し、モデル性能を向上させる利点を示している。
• Tally-QAおよびKVQAデータセットは、71.8％および59.2％の正確度を示し、数え上げや知識に基づく質問といった複雑な推論を処理する可能性が示された。
• 技術の進歩にもかかわらず、最高のパフォーマンスを示すモデルでも、依然として約60～70％の正確度にとどまっている。これは、VQAが依然として、推論および一般化の分野でのさらなるイノベーションを要する挑戦的なオープンな問題であることを示している。