[論文レビュー] VQABQ: Visual Question Answering by Basic Questions

Jia-Hong Huang, Modar Alfadly+1 more|arXiv (Cornell University)|Mar 19, 2017

Multimodal Machine Learning Applications参考文献 10被引用数 15

ひとこと要約

本稿では、LASSO最適化を用いて複雑な質問を基本的質問に分解し、共同注意メカニズムを活用することで回答の正確性を向上させる、視覚的質疑応答（VQA）フレームワークVQABQを提案する。本手法は、生成された基本的質問を効果的に活用することで視覚的およびテキスト特徴の推論を強化し、VQAデータセット上で60.34%の最先端のオープンエンドドVQA正確度を達成した。

ABSTRACT

Taking an image and question as the input of our method, it can output the text-based answer of the query question about the given image, so called Visual Question Answering (VQA). There are two main modules in our algorithm. Given a natural language question about an image, the first module takes the question as input and then outputs the basic questions of the main given question. The second module takes the main question, image and these basic questions as input and then outputs the text-based answer of the main question. We formulate the basic questions generation problem as a LASSO optimization problem, and also propose a criterion about how to exploit these basic questions to help answer main question. Our method is evaluated on the challenging VQA dataset and yields state-of-the-art accuracy, 60.34% in open-ended task.

研究の動機と目的

• 視覚的特徴に偏りがちなVQA研究の問題を是正し、視覚的およびテキスト的質問特徴をより効果的に統合すること。
• 複雑な質問をより単純で回答可能な部分質問（基本的質問）に分解することで、VQAにおける包括的シーン理解を向上させること。
• 学習された表現と最適化を用いて、主な質問から意味的に関連する基本的質問を生成する手法を開発すること。
• 基本的質問がVQA正確度に与える影響を評価し、共同注意に基づくモデルの性能向上に寄与する可能性を示すこと。
• 将来的な質問分解に関する研究を支援するため、VQAデータセットから派生した新しい基本的質問データセットを構築すること。

提案手法

• 基本的質問生成モジュールは、主な質問およびすべての訓練／検証質問をSkip-Thought Vectorsでエンコードし、密なベクトル空間に変換する。
• 基本的質問生成をLASSO最適化問題として定式化し、事前に構築された4800×215623の基本的質問行列から3つの最も関連性の高い基本的質問を特定する。
• 共同注意VQAモジュールは、主な質問、画像、および生成された基本的質問を入力とし、視覚的およびテキスト的特徴に同時に注目する共同注意メカニズムを用いる。
• 類似度スコアに基づき、テスト質問が基本的質問の恩恵を受けるかどうかを判定するため、しきい値（s1=0.43、s2=0.82、s3=0.53）を用いる。
• 最終的な回答は、階層的注意メカニズムを用いて共同注意特徴に基づく視覚的およびテキスト的特徴を統合することで予測される。
• 本手法は、基本的質問に最も関連する画像領域および質問内の語を重点的に注目することで、基本的質問を効果的に活用するための基準を用いる。

実験結果

リサーチクエスチョン

• RQ1 複雑な視覚的質問を基本的質問に分解することで、VQA正確度が向上するか？
• RQ2 正確な回答予測を支援する形で、自動的に基本的質問を生成する方法は何か？
• RQ3 基本的質問は、共同注意に基づくVQAモデルの性能をどの程度向上させるか？
• RQ4 質問タイプ（例：数え上げ、属性、存在確認）は、基本的質問の有効性にどのような影響を及けるか？
• RQ5 基本的質問データセットの質および多様性は、全体のVQA性能にどのような影響を及えるか？

主な発見

• VQABQモデルは、VQAデータセット上で60.34%の最先端のオープンエンドドVQA正確度を達成し、先行手法を上回った。
• ベースラインから142,093個のテストサンプルのうち28問が正しく回答された改善を示し、明確な性能向上が確認された。
• テスト質問のうち57%しか、訓練および検証セットで関連する基本的質問を特定できなかったため、データセットの多様性およびカバレッジに制限があることが示された。
• 共同注意メカニズムは、数え上げタイプの質問において特に高い改善を示し、局所的視覚的推論と強い整合性があることが示唆された。
• 基本的質問のカバレッジが限られているにもかかわらず、正確度が向上したため、部分的な基本的質問の活用でも推論が強化されることを示した。
• 同じ条件下で最先端手法[14]の再実装を行ったところ、報告された正確度よりも低かったため、提案手法の公平性および競争力が裏付けられた。