[論文レビュー] Cross-Modal Causal Relational Reasoning for Event-Level Visual Question Answering

Yang Liu, Guanbin Li+1 more|arXiv (Cornell University)|Jul 26, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、視覚的および言語的モダリティ間の因果的干渉を用いて誤った相関関係を軽減することで、イベントレベルの視覚的質問応答に特化した新規フレームワークであるクロスモダリティ因果的関係推論（CMCIR）を提案する。CMCIRは、因果に配慮したモジュール、空間的・時間的トランスフォーマー、および適応的特徴統合を用いることで、因果的依存関係を分離し、強固な反事実的推論を可能にし、4つのイベントレベルVQAデータセットで最先端の性能を達成する。

ABSTRACT

Existing visual question answering methods often suffer from cross-modal spurious correlations and oversimplified event-level reasoning processes that fail to capture event temporality, causality, and dynamics spanning over the video. In this work, to address the task of event-level visual question answering, we propose a framework for cross-modal causal relational reasoning. In particular, a set of causal intervention operations is introduced to discover the underlying causal structures across visual and linguistic modalities. Our framework, named Cross-Modal Causal RelatIonal Reasoning (CMCIR), involves three modules: i) Causality-aware Visual-Linguistic Reasoning (CVLR) module for collaboratively disentangling the visual and linguistic spurious correlations via front-door and back-door causal interventions; ii) Spatial-Temporal Transformer (STT) module for capturing the fine-grained interactions between visual and linguistic semantics; iii) Visual-Linguistic Feature Fusion (VLFF) module for learning the global semantic-aware visual-linguistic representations adaptively. Extensive experiments on four event-level datasets demonstrate the superiority of our CMCIR in discovering visual-linguistic causal structures and achieving robust event-level visual question answering. The datasets, code, and models are available at https://github.com/HCPLab-SYSU/CMCIR.

研究の動機と目的

• 既存の視覚的質問応答モデルがイベントレベルの因果関係、時間的進行性、動的要因を捉えることの限界を解消すること。
• 視覚的および言語的モダリティにおける交絡要因によって引き起こされる誤った相関関係が推論の信頼性を低下させるのを軽減すること。
• 偏りのある関連性に依存するのではなく、因果的干渉技術を用いて真の視覚的・言語的因果構造を同定すること。
• 複雑で現実世界的な動画・質問シナリオにおいて、強固な反事実的および内省的推論を可能にすること。
• 因果に配慮したグローバルな意味的表現を学習することで、多様な質問タイプにわたる一般化を向上させること。

提案手法

• 視覚的および言語的モダリティ間の誤った相関関係を分離するために、フロントドアおよびバックドア因果的干渉を適用する因果に配慮した視覚的・言語的推論（CVLR）モジュールを導入する。
• 時間的および空間的次元で視覚的および言語的意味の微細な相互作用をモデル化するため、空間的・時間的トランスフォーマー（STT）モジュールを採用する。
• マルチモーダル入力から適応的かつグローバルな意味的注意を備えた表現を学ぶために、視覚的・言語的特徴統合（VLFF）モジュールを用いる。
• 視覚的・言語的依存関係を形式化し、干渉に基づく推論をガイドするために構造的因果モデル（SCMs）を活用する。
• 反事実的推論を実施するため、仮説的シナリオ（例：「もし彼がオートバイを運転しなかったらどうなるか？」）をシミュレートする。
• 回答予測および因果構造の同定の両方の教師信号を用いて、4つのイベントレベルVQAデータセット上でモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 視覚的質問応答モデルは、単なる視覚的・言語的相関関係を超えて、どのようにイベントレベルの因果関係と時間的進行性をよりよく捉えることができるか？
• RQ2 フロントドアおよびバックドア因果的干渉は、マルチモーダル推論における誤った相関関係をどの程度軽減できるか？
• RQ3 因果的干渉に基づく推論は、反事実的および内省的質問タイプのパフォーマンスを向上させることができるか？
• RQ4 提案されたCMCIRフレームワークは、多様な質問タイプおよびデータセットにどの程度一般化するか？
• RQ5 空間的・時間的ダイナミクスおよび因果的依存関係は、強固な視覚的・言語的推論において果たす役割は何か？

主な発見

• CMCIRは、SUTD-TrafficQA、TGIF-QA、MSVD-QA、MSRVTT-QAの4つのイベントレベルVQAデータセットで最先端の性能を達成した。
• 図9(a)-(b)における定性的分析から、異なる質問タイプにわたる一般化性能が優れていることが示された。
• 内省的および反事実的推論タスクの性能が顕著に向上し、因果的および論理的依存関係の効果的な同定が示された。
• 失敗事例から、物体検出や外部知識の欠如により、視覚的に曖昧な概念（例：「suv」と「truck」、「rainy」と「snowy」）の処理に限界があることが判明した。
• 交通ルールなどの外部ドメイン知識を要する質問に対してはモデルの性能が劣ることから、今後の研究では専門知識との統合の必要性が示された。
• 定量的アブレーションの結果、因果的干渉モジュールがベースライン手法と比較して誤った相関関係への依存を顕著に低減していることが明らかになった。