[論文レビュー] VQA-LOL: Visual Question Answering under the Lens of Logic

Tejas Gokhale, Pratyay Banerjee+2 more|arXiv (Cornell University)|Feb 19, 2020

Multimodal Machine Learning Applications参考文献 57被引用数 10

ひとこと要約

本論文では、質問注意機構と論理注意機構を用いて論理接続語（例：否定、論理積、論理和）を明示的にモデル化するとともに、論理的一致性を保証するためのFréchet-適合性損失を導入する、VQA-LOLという新しいフレームワークを提案する。このモデルは、論理的に合成された質問における推論性能を著しく向上させるとともに、標準的なVQAベンチマークでも最先端の性能を維持する。

ABSTRACT

Logical connectives and their implications on the meaning of a natural language sentence are a fundamental aspect of understanding. In this paper, we investigate whether visual question answering (VQA) systems trained to answer a question about an image, are able to answer the logical composition of multiple such questions. When put under this extit{Lens of Logic}, state-of-the-art VQA models have difficulty in correctly answering these logically composed questions. We construct an augmentation of the VQA dataset as a benchmark, with questions containing logical compositions and linguistic transformations (negation, disjunction, conjunction, and antonyms). We propose our {Lens of Logic (LOL)} model which uses question-attention and logic-attention to understand logical connectives in the question, and a novel Fréchet-Compatibility Loss, which ensures that the answers of the component questions and the composed question are consistent with the inferred logical operation. Our model shows substantial improvement in learning logical compositions while retaining performance on VQA. We suggest this work as a move towards robustness by embedding logical connectives in visual understanding.

研究の動機と目的

• 最先端のVQAモデルが、否定、論理積、論理和を含む論理的に合成された質問を信頼性を持って正しく回答できるかどうかを調査すること。
• 既存のモデルが論理的変換を処理できない問題を解決するため、論理的合成を含む新しいベンチマークデータセットを構築すること。
• 注意メカニズムと新しい損失関数を用いて、視覚的理解と論理的推論を同時に学習するモデルを開発すること。
• 構成的汎化性能を向上させ、単一の論理演算子で学習したモデルが、複数の論理演算子を含む質問にも適応できるようにすること。

提案手法

• 著者らは、VQAデータセットに否定、論理積、論理和、対義語を用いた論理的合成質問を追加することで、新しいデータセットVQA-Composeを構築した。
• COCOのオブジェクトおよびキャプションアノテーションを活用して、論理的合成の多様性を高めるために補足データセットVQA-Supplementを生成した。
• 提案されたLOLモデルは、2つの注意メカニズムを採用する：質問注意機構により関連する画像領域を局所化し、論理注意機構により質問内の論理接続語を特定・解釈する。
• 論理的推論規則に基づき、成分質問の答えと合成質問の答えの間に一貫性を強制するための、新しいFréchet-適合性損失を導入した。
• モデルは拡張済みデータセット上でエンドツーエンドで学習され、標準的なVQAタスクの性能を維持するためのファインチューニングが施された。
• このフレームワークは構成的汎化をサポートしており、単一論理演算子の質問で学習したモデルが、複数演算子の合成質問にも最小限の性能低下で一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 最先端のVQAモデルは、否定、論理積、論理和を含む論理的に合成された質問を正しく回答できるか？
• RQ2 論理的に合成された質問に対する明示的な学習が、論理的変換に対するモデルの頑健性を向上させるか？
• RQ3 論理接続語のための注意メカニズムで学習したモデルは、未観測の論理演算子の組み合わせに一般化できるか？
• RQ4 提案されたFréchet-適合性損失は、答えの予測における論理的一致性をどのように向上させるか？
• RQ5 論理的推論メカニズムの導入により、標準的なVQAの性能を損なわせることなく、合成質問における性能が向上するか？

主な発見

• VQA-ComposeデータセットでファインチューニングされたLXMERTモデルは、論理的に合成された質問において精度が向上し、特に論理積と否定において顕著な改善を示したが、論理和については依然として限界がある。
• 質問注意と論理注意の両方を備えたLOLモデルは、$Q_1 \wedge Q_2$ で87.77%、$\neg Q_1$ で86.43%の精度を達成し、ベースラインモデルを著しく上回った。
• VQA-Supplementデータセットでは、LOLモデルが$\neg Q \wedge \neg C$ で99.89%の精度を達成し、否定された事実を含む複雑な論理的合成において優れた性能を示した。
• モデルは強力な構成的汎化を示した：単一演算子の質問で学習した後、複数演算子の質問に対しても性能低下が最小限に抑えられた。
• Fréchet-適合性損失は論理的一致性を効果的に向上させ、この損失を含まないモデルと比較して、論理的に複雑な質問の精度が顕著に向上した。
• 本研究では、否定または対義語を含む論理和（例：$Q \vee \neg B$）を含む質問が特に困難であることが判明し、ベースラインモデルでは精度が著しく低下した。