[论文解读] Cross-Modal Causal Relational Reasoning for Event-Level Visual Question Answering

Yang Liu, Guanbin Li+1 more|arXiv (Cornell University)|Jul 26, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了一种名为跨模态因果关联推理（CMCIR）的新框架，用于事件级视觉问答任务，通过在视觉与语言模态之间应用前门和后门因果干预，减轻虚假相关性。CMCIR 通过解耦因果依赖关系，并借助一个因果感知模块、时空变换器以及自适应特征融合，实现稳健的反事实推理，在四个事件级 VQA 数据集上取得了最先进性能。

ABSTRACT

Existing visual question answering methods often suffer from cross-modal spurious correlations and oversimplified event-level reasoning processes that fail to capture event temporality, causality, and dynamics spanning over the video. In this work, to address the task of event-level visual question answering, we propose a framework for cross-modal causal relational reasoning. In particular, a set of causal intervention operations is introduced to discover the underlying causal structures across visual and linguistic modalities. Our framework, named Cross-Modal Causal RelatIonal Reasoning (CMCIR), involves three modules: i) Causality-aware Visual-Linguistic Reasoning (CVLR) module for collaboratively disentangling the visual and linguistic spurious correlations via front-door and back-door causal interventions; ii) Spatial-Temporal Transformer (STT) module for capturing the fine-grained interactions between visual and linguistic semantics; iii) Visual-Linguistic Feature Fusion (VLFF) module for learning the global semantic-aware visual-linguistic representations adaptively. Extensive experiments on four event-level datasets demonstrate the superiority of our CMCIR in discovering visual-linguistic causal structures and achieving robust event-level visual question answering. The datasets, code, and models are available at https://github.com/HCPLab-SYSU/CMCIR.

研究动机与目标

• 为解决现有视觉问答模型在捕捉事件级因果关系、时间性和动态性方面的局限性。
• 减轻由视觉与语言模态中的混杂因素引起的虚假相关性，从而提升推理可靠性。
• 通过因果干预技术发现真实的视觉-语言因果结构，而非依赖有偏见的关联。
• 在复杂、现实世界的视频-问题场景中实现稳健的反事实与内省推理。
• 通过学习因果感知的全局语义表征，提升对多样化问题类型的泛化能力。

提出的方法

• 引入一个因果感知视觉-语言推理（CVLR）模块，通过前门和后门因果干预，解耦视觉与语言模态之间的虚假相关性。
• 采用时空变换器（STT）模块，建模视觉与语言语义在时空维度上的细粒度交互。
• 利用视觉-语言特征融合（VLFF）模块，从多模态输入中学习自适应的、全局语义感知表征。
• 利用结构化因果模型（SCMs）形式化视觉-语言依赖关系，并指导基于干预的推理。
• 通过模拟假设情景（例如，“如果那个人没有骑摩托车会怎样？”）进行反事实推理，以测试因果推理的鲁棒性。
• 在四个事件级 VQA 数据集上端到端训练模型，监督目标包括答案预测与因果结构发现。

实验结果

研究问题

• RQ1 如何使视觉问答模型更好地捕捉事件级因果关系与时间性，而不仅仅是视觉-语言之间的简单相关性？
• RQ2 前门与后门因果干预在多大程度上能减少多模态推理中的虚假相关性？
• RQ3 基于因果干预的推理能否提升在反事实与内省类问题类型上的性能？
• RQ4 所提出的 CMCIR 框架在多样化问题类型与数据集上的泛化能力如何？
• RQ5 时空动态与因果依赖在稳健视觉-语言推理中扮演何种角色？

主要发现

• CMCIR 在四个事件级 VQA 数据集上取得了最先进性能，包括 SUTD-TrafficQA、TGIF-QA、MSVD-QA 与 MSRVTT-QA。
• 定性分析显示（图 9(a)-(b)），该模型在不同问题类型上表现出卓越的泛化能力。
• 内省与反事实推理任务性能显著提升，表明其有效发现了因果与逻辑依赖关系。
• 失败案例揭示了在处理视觉模糊概念（如“suv”与“truck”、“rainy”与“snowy”）时的局限性，原因在于缺乏目标检测与外部知识。
• 该模型在需要外部领域知识的问题（如交通规则）上表现不佳，表明未来工作需整合专家知识。
• 定量消融实验表明，与基线方法相比，因果干预模块显著降低了对虚假相关性的依赖。