[논문 리뷰] Causal Reasoning Meets Visual Representation Learning: A Prospective Study

Yang Liu, Yushen Wei외 3명|arXiv (Cornell University)|2022. 04. 26.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 해석 가능성, 내성적 안정성, 분포 외 일반화 능력의 한계를 해결하기 위해 인과적 추론을 시각적 표현 학습과 통합하는 종합적인 설문을 제시한다. 기본 이론, 모델, 데이터셋을 검토하며, 혼동 요인 근사, 반사적 합성, 대규모 벤치마크 부족과 같은 주요 과제를 규명하고, 신뢰할 수 있고 인지 능력을 갖춘 시각적 AI 시스템을 가능하게 하기 위해 인과성 기반 프레임워크의 발전을 주장한다.

ABSTRACT

Visual representation learning is ubiquitous in various real-world applications, including visual comprehension, video understanding, multi-modal analysis, human-computer interaction, and urban computing. Due to the emergence of huge amounts of multi-modal heterogeneous spatial/temporal/spatial-temporal data in big data era, the lack of interpretability, robustness, and out-of-distribution generalization are becoming the challenges of the existing visual models. The majority of the existing methods tend to fit the original data/variable distributions and ignore the essential causal relations behind the multi-modal knowledge, which lacks unified guidance and analysis about why modern visual representation learning methods easily collapse into data bias and have limited generalization and cognitive abilities. Inspired by the strong inference ability of human-level agents, recent years have therefore witnessed great effort in developing causal reasoning paradigms to realize robust representation and model learning with good cognitive ability. In this paper, we conduct a comprehensive review of existing causal reasoning methods for visual representation learning, covering fundamental theories, models, and datasets. The limitations of current methods and datasets are also discussed. Moreover, we propose some prospective challenges, opportunities, and future research directions for benchmarking causal reasoning algorithms in visual representation learning. This paper aims to provide a comprehensive overview of this emerging field, attract attention, encourage discussions, bring to the forefront the urgency of developing novel causal reasoning methods, publicly available benchmarks, and consensus-building standards for reliable visual representation learning and related real-world applications more efficiently.

연구 동기 및 목표

• 현재의 시각적 표현 학습 모델에서의 해석 가능성, 내성적 안정성, 분포 외 일반화 능력 부족을 해결하기 위해.
• 특히 분포 이동 또는 데이터 편향 상황에서 관련성 기반 학습의 한계를 강조하기 위해.
• 시각적 표현 학습에 관련된 인과적 추론 방법, 모델, 데이터셋을 체계적으로 검토하기 위해.
• 현재 접근법의 핵심 격차를 규명하기 위해, 즉 혼동 요인 근사 부족, 반사적 합성 부족, 대규모 벤치마크 부족을 포함하여.
• 신뢰할 수 있는 AI 응용을 위한 인과성 기반의 시각적 표현 학습 발전을 위해 제안된 연구 방향과 표준을 홍보하기 위해.

제안 방법

• 데이터 생성 과정을 모델링하기 위해 구조적 인과 모델(Structural Causal Models, SCMs)과 독립 인과 메커니즘(Independent Causal Mechanism, ICM) 원리를 사용해 인과적 추론을 형식화하기 위해.
• 시각적 표현 학습에 인과 추론 및 간섭 기법을 통합하여 임의의 상관관계와 진정한 인과적 요인을 분리하기 위해.
• 단순한 평균 특징 표현을 넘어서 혼동 요인 추정을 개선함으로써 간섭 분포 근사 방법을 제안하기 위해.
• 데이터 편향을 완화하기 위해 반사적 추론을 모델 학습에 통합하는 반사적 합성 프레임워크를 개발하기 위해.
• 대규모, 작업에 특화된 벤치마크 데이터셋과 표준화된 평가 파이프라인을 구축할 것을 주장하기 위해.
• 시각 질문 응답, 행동 인식, 영상 이해와 같은 작업들에서 인과적 추론과 시각적 표현 학습 간의 상호작용을 분석하기 위해.

실험 결과

연구 질문

• RQ1 인과적 추론은 어떻게 시각적 표현 학습 모델의 내성적 안정성과 분포 외 일반화 능력을 향상시킬 수 있는가?
• RQ2 특히 혼동 요인 식별 및 간섭 추정 측면에서 현재의 시각 데이터를 위한 인과 모델링 접근법의 주요 한계는 무엇인가?
• RQ3 어떻게 반사적 추론을 시각적 표현 학습에 효과적으로 통합하여 데이터 편향을 줄일 수 있는가?
• RQ4 기존의 인과 시각 학습을 위한 데이터셋과 평가 프로토콜에서의 주요 격차는 무엇인가?
• RQ5 신뢰할 수 있고 인과 기반의 시각 AI 시스템을 발전시키기 위해 필요한 향후 연구 방향과 표준화 노력은 무엇인가?

주요 결과

• 현재의 시각적 표현 학습 방법은 데이터 분포에 맞추어 학습함으로써 유사 상관관계에 의존하는 경우가 많아, 분포 이동 상황에서 내성적 안정성과 일반화 능력이 떨어진다.
• 인과적 추론은 구조적 종속성 모델링과 간섭 기반 추론을 가능하게 하여 더 나은 인지 능력과 일반화 능력을 지원함으로써 유망한 대안을 제공한다.
• 기존의 시각에 대한 인과 모델은 종종 혼동 요인을 단순화하여 처리한다 — 예를 들어 평균 객체 특징를 사용함으로써 간섭 근사가 정확하지 않게 된다.
• 반사적 추론 방법은 편향 제거에 효과적이지만, 복잡하고 얽힌 시각 데이터 분포를 모델링하는 데 어려움을 겪는다.
• 인과적 추론을 위한 대규모, 표준화된 벤치마크와 평가 파이프라인의 부족은 공정한 비교와 발전을 저해하고 있다.
• 미래의 연구는 다중 모odal 간 인과 발견을 위한 통합 프레임워크, 개선된 반사적 생성, 그리고 신뢰할 수 있는 시각 AI를 위한 공감대 기반 표준을 우선시해야 한다.