[논문 리뷰] Cross-Modal Causal Relational Reasoning for Event-Level Visual Question Answering

Yang Liu, Guanbin Li외 1명|arXiv (Cornell University)|2022. 07. 26.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 이벤트 수준의 시각적 질의 응답을 위한 새로운 프레임워크인 교차 모odal 인과적 관계 추론(CMCIR)을 제안한다. 이 프레임워크는 시각적 및 언어적 모달 간의 전후 인과적 간섭을 활용하여 유사 상관관계를 완화시킨다. CMCIR는 인과성 인지 모듈, 공간-시간 트랜스포머, 적응형 특징 융합을 통해 인과적 의존성을 분리하고 강력한 반시가적 추론을 가능하게 하여 네 개의 이벤트 수준 VQA 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Existing visual question answering methods often suffer from cross-modal spurious correlations and oversimplified event-level reasoning processes that fail to capture event temporality, causality, and dynamics spanning over the video. In this work, to address the task of event-level visual question answering, we propose a framework for cross-modal causal relational reasoning. In particular, a set of causal intervention operations is introduced to discover the underlying causal structures across visual and linguistic modalities. Our framework, named Cross-Modal Causal RelatIonal Reasoning (CMCIR), involves three modules: i) Causality-aware Visual-Linguistic Reasoning (CVLR) module for collaboratively disentangling the visual and linguistic spurious correlations via front-door and back-door causal interventions; ii) Spatial-Temporal Transformer (STT) module for capturing the fine-grained interactions between visual and linguistic semantics; iii) Visual-Linguistic Feature Fusion (VLFF) module for learning the global semantic-aware visual-linguistic representations adaptively. Extensive experiments on four event-level datasets demonstrate the superiority of our CMCIR in discovering visual-linguistic causal structures and achieving robust event-level visual question answering. The datasets, code, and models are available at https://github.com/HCPLab-SYSU/CMCIR.

연구 동기 및 목표

• 기존의 시각적 질의 응답 모델이 이벤트 수준의 인과성, 시간성, 동적 특성을 제대로 포착하지 못하는 데서 기인하는 한계를 해결하기 위해.
• 시각적 및 언어적 모달에서 발생하는 혼동 변수로 인해 유도되는 유사 상관관계가 추론의 신뢰성을 떨어뜨리는 문제를 완화하기 위해.
• 편향된 연관성에 의존하기보다는 인과 간섭 기법을 통해 진정한 시각-언어적 인과적 구조를 발견하기 위해.
• 복잡하고 실제 세계적인 영상-질문 시나리오에서 강력한 반시가적 및 내성적 추론을 가능하게 하기 위해.
• 인과 인지 가능하고 글로벌 의미 표현을 학습함으로써 다양한 질문 유형으로의 일반화를 향상시키기 위해.

제안 방법

• 시각적 및 언어적 모달 간의 유사 상관관계를 분리하기 위해 전방 및 후방 인과 간섭을 적용하는 인과성 인지 가능 시각-언어 추론(CVLR) 모듈을 도입한다.
• 시간과 공간을 모두 고려한 시각적 및 언어적 의미 간의 세밀한 상호작용을 모델링하기 위해 공간-시간 트랜스포머(STT) 모듈을 활용한다.
• 다중 모달 입력에서 적응형이고 글로벌 의미 인지 표현을 학습하기 위해 시각-언어적 특징 융합(VLFF) 모듈을 사용한다.
• 시각-언어적 의존성을 형식화하고 간섭 기반 추론을 이끌기 위해 구조적 인과 모델(SCM)을 활용한다.
• 가령 '사람이 오토바이를 타지 않았다면 어떻게 되었을까?'와 같은 가상의 시나리오를 시뮬레이션하여 반시가적 추론을 적용함으로써 인과 추론의 강건성을 테스트한다.
• 정답 예측과 인과적 구조 발견에 대한 지도를 통해 네 개의 이벤트 수준 VQA 데이터셋에서 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 시각적 질의 응답 모델은 단순한 시각-언어적 상관관계를 넘어서 이벤트 수준의 인과성과 시간성을 어떻게 더 잘 포착할 수 있는가?
• RQ2 전방 및 후방 인과 간섭을 통해 다중 모달 추론에서의 유사 상관관계는 어느 정도 감소시킬 수 있는가?
• RQ3 인과 간섭 기반 추론은 반시가적 및 내성적 질문 유형에서 성능 향상에 기여하는가?
• RQ4 제안된 CMCIR 프레임워크는 다양한 질문 유형과 데이터셋으로 일반화되는가?
• RQ5 공간-시간 역학과 인과적 의존성은 강력한 시각-언어 추론에서 어떤 역할을 하는가?

주요 결과

• CMCIR는 SUTD-TrafficQA, TGIF-QA, MSVD-QA, MSRVTT-QA를 포함한 네 개의 이벤트 수준 VQA 데이터셋에서 최신 기준 성능을 달성한다.
• 그림 9(a)-(b)의 정성적 분석을 통해 다양한 질문 유형으로의 일반화 능력이 뛰어나다는 게 확인된다.
• 내성적 및 반시가적 추론 작업에서의 성능 향상이 뚜렷하여 인과적 및 논리적 의존성의 효과적인 발견이 이루어졌음을 시사한다.
• 실패 사례 분석을 통해 시각적으로 모호한 개념(예: 'suv' 대 'truck', '비오는' 대 '눈오는')을 다루는 데에 한계가 있으며, 객체 검출 및 외부 지식의 부족으로 인해 문제가 발생한다.
• 교통 규칙 등 외부 도메인 지식이 필요한 질문에 대해서는 모델이 어려움을 겪는 것으로 나타나, 향후 연구에서는 전문 지식 통합이 필요하다는 점을 시사한다.
• 정량적 아블레이션 분석 결과, 기존 기준 모델 대비 인과 간섭 모듈이 유사 상관관계에 대한 의존도를 크게 감소시킴을 입증한다.