[論文レビュー] Improving Visual Question Answering by Referring to Generated Paragraph Captions

Hyounghun Kim, Mohit Bansal|arXiv (Cornell University)|Jun 14, 2019

Multimodal Machine Learning Applications参考文献 24被引用数 6

ひとこと要約

本稿では、視覚的特徴と自動生成された段落キャプションおよび物体の性質記述を統合することで、VQA性能を向上させる視覚的・言語的質問応答（VTQA）モデルを提案する。早期、後期、および後続の統合戦略を用い、補完的な言語的および視覚的情報を活用することで、Visual Genomeデータセット上で47.43%の検証精度を達成した。これは強力なベースラインを著しく上回るものであり、アブレーションスタディにより各統合コンポーネントの価値が確認された。

ABSTRACT

Paragraph-style image captions describe diverse aspects of an image as opposed to the more common single-sentence captions that only provide an abstract description of the image. These paragraph captions can hence contain substantial information of the image for tasks such as visual question answering. Moreover, this textual information is complementary with visual information present in the image because it can discuss both more abstract concepts and more explicit, intermediate symbolic information about objects, events, and scenes that can directly be matched with the textual question and copied into the textual answer (i.e., via easier modality match). Hence, we propose a combined Visual and Textual Question Answering (VTQA) model which takes as input a paragraph caption as well as the corresponding image, and answers the given question based on both inputs. In our model, the inputs are fused to extract related information by cross-attention (early fusion), then fused again in the form of consensus (late fusion), and finally expected answers are given an extra score to enhance the chance of selection (later fusion). Empirical results show that paragraph captions, even when automatically generated (via an RL-based encoder-decoder model), help correctly answer more visual questions. Overall, our joint model, when trained on the Visual Genome dataset, significantly improves the VQA performance over a strong baseline model.

研究の動機と目的

• 豊富で記述的な段落キャプションを追加の言語的文脈として統合することで、視覚的質問応答（VQA）を改善すること。
• 単一文のキャプションよりも画像の多様な側面をより明示的に記述する段落キャプションが、VQA性能を向上させることを検証すること。
• 複数の統合戦略を用いて視覚的および言語的特徴を効果的に統合する共同モデルを設計し、回答の正確性を向上させること。
• 自動生成された段落キャプションと正解キャプションの両方を用いた場合のVQA性能への影響を評価すること。
• 現在のモデルが段落キャプションからの有用な情報を抽出する能力にどのような限界があるかを特定し、今後の改善に向けた指針を示すこと。

提案手法

• VTQAモデルは、CIDEr報酬とn-gram繰り返しペナルティを用いた強化学習に基づく事前学習済み段落キャプション生成モデルを用い、画像から記述的なキャプションを生成する。
• 物体の性質（例：'cow is brown'）が抽出され、単純な文にエンコードされて、検出された物体に関する明示的かつ記号的な情報を提供する。
• 視覚的特徴は、Andersonら（2018）のボトムアップ・トップダウンアテンションメカニズムを用いて抽出される。
• 早期統合は、視覚的および言語的特徴をクロスアテンションを介して統合し、両モalityから関連情報を抽出する。
• 後期統合は、分離された視覚的および言語的モジュールからの予測スコアを集約し、回答のコンSENSUSに到達する。
• 後続統合は、検出された物体の性質から導かれるリストに一致する回答のスコアを高めることで、選択の可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の画像的側面を記述する段落形式の画像キャプションは、単一文キャプションと比較してVQA性能を向上させることができるか？
• RQ2 自動生成された段落キャプションの統合はVQA精度にどのように影響し、正解キャプションを使用する場合と比べてどうなるか？
• RQ3 視覚的および言語的特徴を統合する際、早期、後期、後続のどの統合戦略がVQA性能の向上に最も効果的か？
• RQ4 視覚情報のみからでは難しい質問に対して、VQAモデルが段落キャプションからの明示的な言語的手がかりをどれほど活用できるか？
• RQ5 現在のモデルは、高品質な正解段落キャプションからの情報をなぜ十分に活用していないのか？このギャップを埋めるための改善策は何か？

主な発見

• 生成された段落キャプションを用いたVTQAモデルは、Visual Genomeデータセットで47.43%の検証精度を達成し、強いベースラインモデルを著しく上回った（p < 0.001）。
• 後期統合はベースモデル比で0.95%の性能向上を示し、視覚的および言語的特徴の補完的利点を裏付けた。
• 後続統合は、物体の性質に一致する回答のスコアを高めるため、ベースモデル比で1.54%の精度向上を達成し、後期統合比でも1.24%の向上を示した。
• 人間評価では、正解段落キャプションを用いた場合の正確さは55.00%であったのに対し、生成キャプションでは42.67%にとどまり、12.33%の性能ギャップが確認された。
• 正解キャプションを用いて学習したTextQAモデルは43.96%の正確さを示したが、生成キャプションを用いた場合では42.07%にとどまり、モデルが部分的な情報を抽出できることを示しながらも1.89%のギャップが生じた。
• 正解段落キャプションを用いた場合、VTQAモデル全体で48.04%の正確さを達成した。これは、現在のモデルが高品質な言語的情報を十分に活用していないことを示しており、今後の改善の重要な分野である。