[論文レビュー] Survey of Recent Advances in Visual Question Answering

Supriya Pandhre, Shagun Sodhani|arXiv (Cornell University)|Sep 24, 2017

Multimodal Machine Learning Applications参考文献 19被引用数 9

ひとこと要約

本調査は、視覚的および言語的特徴を注意メカニズムと外部知識ベースを用いて統合する深層学習モデルに焦点を当て、視覚的質疑応答（VQA）分野における最近の進展をレビューしている。最先端の性能が強調されており、Show, Ask, Attend, and AnswerモデルはVQA2.0検証セットで59.67%の正確度を達成した。また、モデルの解釈可能性と性能向上における注意メカニズムの重要な役割が強調されている。

ABSTRACT

Visual Question Answering (VQA) presents a unique challenge as it requires the ability to understand and encode the multi-modal inputs - in terms of image processing and natural language processing. The algorithm further needs to learn how to perform reasoning over this multi-modal representation so it can answer the questions correctly. This paper presents a survey of different approaches proposed to solve the problem of Visual Question Answering. We also describe the current state of the art model in later part of paper. In particular, the paper describes the approaches taken by various algorithms to extract image features, text features and the way these are employed to predict answers. We also briefly discuss the experiments performed to evaluate the VQA models and report their performances on diverse datasets including newly released VQA2.0[8].

研究の動機と目的

• CVPR 2016で発表された最近のVQA手法および関連研究を包括的にレビューすること。
• マルチモーダルVQAモデルにおける視覚的および言語的特徴の抽出および統合手法を分析すること。
• VQA1.0、VQA2.0、COCO-QA、DAQUARを含む多様なデータセットにおけるモデル性能を評価すること。
• 推論性能を向上させるトレンドとしての注意メカニズムや外部知識統合の役割を特定すること。
• 標準化されたデータセット上で最先端モデルをベンチマーク化し、アーキテクチャ的革新による性能向上を強調すること。

提案手法

• 画像表現を3段階に分ける：属性ベース（微調整されたVGG16を用いて）、キャプションベース（MSCOCOのキャプションをLSTMで処理）、知識ベース（DBpediaおよびDoc2Vecを用いて）。
• 融合された画像属性、キャプション、外部知識の表現から答えを生成するため、エンコーダ・デコーダ型LSTMアーキテクチャを採用。
• 関連する画像領域および質問語に注目するため、ソフトアテンションメカニズムを適用し、特徴の関連性とモデルの解釈可能性を向上。
• 高レベルの画像特徴抽出に残差ネットワーク（ResNet-152）を用い、その後L2正規化を実施し、LSTMでエンコードされた質問特徴と連結。
• マルチモーダルプーリングおよびゲート付きメカニズム（例：MCBやDAN）を用いて、視覚的および言語的特徴を効果的に統合。
• エンド・ツー・エンド学習を実装し、Adam最適化法、ドロップアウト（0.5）、L2正規化を用いて過学習を低減し、一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 属性、キャプション、知識ベースといった異なる特徴抽出戦略が、VQA性能にどのように影響を与えるか？
• RQ2 注意メカニズムは、VQAモデルにおける推論性能と解釈可能性をどの程度向上させるか？
• RQ3 DBpediaのような構造化データベースからの外部知識を統合することで、オープンエンド、自由形式の質問に対する性能はどのように向上するか？
• RQ4 残差ネットワーク、L2正規化、ドロップアウトといったアーキテクチャ的要素が、モデルの一般化性能に与える影響は何か？
• RQ5 VQA2.0は、以前のデータセットと比較して、モデル性能にどのような影響を与え、新しいデータ分布がもたらす改善は何か？

主な発見

• Show, Ask, Attend, and Answerモデルは、VQA2.0検証セットで59.67%の正確度を達成し、当時最も優れた結果であった。
• 注意メカニズムは性能向上に顕著な寄与を示し、注意機構を備えないモデルはVQA1.0でわずか57.72%の正確度にとどまった。
• L2正規化とドロップアウトは一般化に不可欠であり、それぞれ省略すると正確度が5.86%および3.27%低下した。
• スタックドアテンションは単一層のアテンションに比べて性能向上が限定的で、効果の逓減が見られた。
• MCBモデルはVQA1.0で66.7%の最高正確度を記録し、以前のベンチマークで他のモデルを上回った。
• VQA2.0の設計—質問数を2倍に増やし、一意な画像-質問-回答のトリプルを保証—によりバイアスが低減され、モデルの頑健性が向上した。