[논문 리뷰] Latent Causal Invariant Model

Xinwei Sun, Tao Wu외 5명|arXiv (Cornell University)|2020. 11. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 10

한 줄 요약

이 논문은 변분 베이지안 추론을 사용하여 인과적 요인(S)과 허위 혼동요인(Z)을 분리하는 인과적 표현 학습 프레임워크인 잠재 인과 불변 모델(LaCIM)을 제안한다. 도메인 간 조건부 분포 P(Y|do(S)) 및 P(X|do(S),do(Z))의 불변성을 강제함으로써 LaCIM은 분포 이탈에 강인한 일반화 성능을 달성하며, OOD 벤치마크에서 기존 방법들을 능가하고 해석 가능성도 향상시킨다.

ABSTRACT

Current supervised learning can learn spurious correlation during the data-fitting process, imposing issues regarding interpretability, out-of-distribution (OOD) generalization, and robustness. To avoid spurious correlation, we propose a Latent Causal Invariance Model (LaCIM) which pursues causal prediction. Specifically, we introduce latent variables that are separated into (a) output-causative factors and (b) others that are spuriously correlated to the output via confounders, to model the underlying causal factors. We further assume the generating mechanisms from latent space to observed data to be causally invariant. We give the identifiable claim of such invariance, particularly the disentanglement of output-causative factors from others, as a theoretical guarantee for precise inference and avoiding spurious correlation. We propose a Variational-Bayesian-based method for estimation and to optimize over the latent space for prediction. The utility of our approach is verified by improved interpretability, prediction power on various OOD scenarios (including healthcare) and robustness on security.

연구 동기 및 목표

• 분포 이탈 시 일반화 성능이 악화되는 감독 학습에서의 허위 상관관계 문제를 해결한다.
• 관측된 입력 X가 관측 불가능한 인과적 요인 S와 허위 혼동요인 Z로부터 생성되며, S–Z 상관관계의 변화에 의해 도메인 이동이 발생하는 인과 모델을 수식화한다.
• 충분한 도메인 다양성이 있을 경우 인과 불변성의 이론적 식별 가능성을 확립하여, S와 Z 간의 분리 추론이 가능함을 보장한다.
• 안정적인 OOD 예측을 위한 불변 표현을 학습하기 위해 변분 베이지안 방법을 개발한다.
• 시각, 헬스케어, 합성 벤치마크에서 OOD 일반화 성능 향상과 함께 분리된, 해석 가능한 특징을 입증한다.

제안 방법

• 데이터 생성 과정을 X ← f_x(S, Z, ε_x) 및 Y ← f_y(S, ε_y)로 모델링하며, f_x와 f_y는 도메인 간에 불변이라고 가정한다.
• S와 Z 간의 도메인에 따라 달라지는 허위 상관관계를 기록하기 위해 도메인 변수 D를 도입하여 도메인 이동을 수식화한다.
• P(Y|do(S)) 및 P(X|do(S),do(Z))가 도메인 간에 안정성을 유지하는 것으로 인과 불변성을 정의함으로써 분포 이동에 대한 강인성을 확보한다.
• 불변성 제약 조건 하에서 연합 가능도의 하한을 최대화함으로써 잠재 요인 S와 Z를 추론하는 변분 베이지안 프레임워크를 제안한다.
• 추론 시에는 OOD 일반화를 위해 분리된 잠재 공간 S에서 do(S)에 대한 예측을 최적화한다.
• 식별 가능성과 불변성을 강제하기 위해 도메인별 추론 네트워크와 분리된 잠재 사전 분포를 갖춘 수정된 VAE를 사용한다.

실험 결과

연구 질문

• RQ1 허위 상관관계가 도메인 간으로 변화하는 잠재변수 모델에서 인과 불변성을 공식적으로 정의하고 식별할 수 있는가?
• RQ2 관측 데이터로부터 S와 Z의 분리가 가능할 조건은 무엇인가?
• RQ3 OOD 일반화를 위한 불변 표현을 학습하는 변분 추론 방법을 설계할 수 있는가?
• RQ4 인과 불변성을 강제할 경우, 표준 딥러닝 및 기존 불변 기반 베이스라인 대비 OOD 테스트 세트에서 예측 성능 향상이 이루어지는가?
• RQ5 학습된 잠재 요인 S는 분리되고 의미적으로 해석 가능한 표현으로 간주될 수 있는가?

주요 결과

• 충분한 도메인 다양성이 있을 경우 인과 불변성의 이론적 식별 가능성이 입증되었으며, S는 순열 및 점별 변환을 제외하고 Z로부터 분리될 수 있음을 증명한다.
• LaCIM은 CMNIST, NICO, ADNI 데이터셋에서 SOTA 수준의 OOD 일반화 성능를 달성하며, DANN 및 도메인 일반화 방법을 포함한 베이스라인들을 능가한다.
• 모델은 분리되고 해석 가능한 의미적 특징을 학습한다 — 예를 들어, 객체 윤곽과 질감이 배경 및 맥락으로부터 분리됨을 정성적 분석을 통해 확인하였다.
• 혼동요인과 선택 편향이 존재하는 상황에서도 LaCIM은 OOD 도메인에서 높은 예측 정확도를 유지하여 분포 이동에 대한 강인성을 입증한다.
• 변분 추론 프레임워크는 성공적으로 불변 표현을 학습하였으며, 아블레이션 연구를 통해 OOD 성능 향상에 불변 목적이 필수적임을 확인하였다.
• 실험 결과, 잠재 공간에서 do(S) 간섭을 최적화함으로써 OOD 정확도가 크게 향상됨을 확인하였으며, 이는 인과 불변 원리의 타당성을 검증한다.