[논문 리뷰] Modeling Causal Mechanisms with Diffusion Models for Interventional and Counterfactual Queries

Patrick Chao, Patrick Blöbaum외 2명|arXiv (Cornell University)|2023. 02. 02.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 관찰 데이터와 알려진 인과 그래프에서 구조적 인과 모델을 학습하기 위해 노이즈 제거 확산 모델을 활용하는 새로운 프레임워크인 확산 기반 인과 모델(Diffusion-Based Causal Models, DCM)을 소개한다. 각 노드의 구조적 방정식을 외부 노이즈의 대체자로 사용하는 잠재 인코딩을 가진 확산 과정으로 모델링함으로써, DCM은 간섭 조건 하에서 정확한 샘플링과 반대로 추론(counterfactual inference)을 가능하게 하며, 비가산 노이즈 모델에서 최첨단 기법들보다 최대 한 계단 차이로 우수한 성능을 보인다.

ABSTRACT

We consider the problem of answering observational, interventional, and counterfactual queries in a causally sufficient setting where only observational data and the causal graph are available. Utilizing the recent developments in diffusion models, we introduce diffusion-based causal models (DCM) to learn causal mechanisms, that generate unique latent encodings. These encodings enable us to directly sample under interventions and perform abduction for counterfactuals. Diffusion models are a natural fit here, since they can encode each node to a latent representation that acts as a proxy for exogenous noise. Our empirical evaluations demonstrate significant improvements over existing state-of-the-art methods for answering causal queries. Furthermore, we provide theoretical results that offer a methodology for analyzing counterfactual estimation in general encoder-decoder models, which could be useful in settings beyond our proposed approach.

연구 동기 및 목표

• 관찰 데이터와 인과 그래프만을 사용하여 구조적 인과 모델에서 관찰, 간섭, 반대로 질문에 대한 영속적이고 확장 가능한 프레임워크를 개발하는 것.
• 잠재 코드를 관측되지 않은 외부 노이즈의 대체자로 간주함으로써, 확산 모델의 표현 능력을 활용해 인과 메커니즘을 학습하는 것.
• 확산 과정을 결정론적이고 오토에인코드르 스타일로 사용함으로써, 간섭과 반대로 추론을 위한 통합된 방법을 제공하는 것.
• 에ncoder-디코더 모델에서 반대로 추정의 정확도에 대한 이론적 분석을 수행하며, 이론적 경계는 확산 모델을 초월한 다른 모델에도 적용 가능하도록 하는 것.
• 다양한 구조적 방정식 유형과 실제 세계 데이터에서 기존 최첨단 기법들에 비해 DCM의 우수성을 실증적으로 검증하는 것.

제안 방법

• 인과 그래프의 각 노드를 조건부 확산 모델로 모델링하여 부모 노드의 값이 입력으로 주어지며, 관측치를 잠재 공간으로 인코딩하고 변수 공간으로 디코딩하는 데 학습하는 방식으로 구현한다.
• 결측치 제거 확산 암시 모델(DDIM)을 기반으로 한 확산 아키텍처를 사용하여, 학습된 역과정을 통해 결정론적 샘플링과 효율적인 추론을 가능하게 한다.
• 각 노드의 확산 모델가 부모 노드의 값에 조건부로 설정되도록 위계적 순서로 DCM을 훈련함으로써, 구조적 방정식 모델(SCM)의 생성 과정을 모방한다.
• 간섭 질문에 대해서는, 간섭된 변수의 값을 고정하고 해당 확산 모델에서 샘플링을 통해 적용한다.
• 반대로 질문에 대해서는, 관측된 결과를 잠재 공간으로 인코딩하는 추론(abduction) 단계를 수행한 후, 액션(잠재 공간에서의 간섭)과 예측(재구성) 단계를 수행한다.
• 잠재 표현을 외부 노이즈의 대체자로 활용함으로써, 복잡한 비모수적 구조적 방정식을 모델링할 수 있도록 한다.

Figure 1 : Left: Nonlinear setting (NLIN), Right: Nonadditive setting (NADD). Box plots of observational, interventional, and counterfactual queries of the ladder and random SCMs over $20$ random initializations of the model and training data.

실험 결과

연구 질문

• RQ1 확산 모델은 관찰 데이터와 인과 그래프를 바탕으로 세 가지 유형의 인과 질문(관찰, 간섭, 반대로)을 지원하기 위해 인과 메커니즘을 효과적으로 학습할 수 있는가?
• RQ2 비가산 노이즈 조건 하에서 DCM의 간섭 및 반대로 추론 성능은 기존 최첨단 기법들과 비교해 어떻게 되는가?
• RQ3 에ncoder-디코더 모델(예: DCM)에서 반대로 추정에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 DCM은 복잡한 비선형 상관관계를 가진 실제 세계 데이터(예: fMRI 데이터)로 일반화될 수 있는가?
• RQ5 DCM의 잠재 공간은 외부 노이즈의 타당한 대체자로 기능하여 정확한 추론과 반대로 추론을 가능하게 하는가?

주요 결과

• 비가산 노이즈 모델에서 DCM은 간섭 및 반대로 질문에 대해 최첨단 기법들보다 최대 한 계단 차이로 뛰어난 성능을 보이며, NADD 설정에서 Y 그래프에서 MSE가 10.42 ± 2.77로 기록되었다.
• 반추적 Sachs 데이터셋에서 DCM은 NLIN 설정에서 가장 낮은 반대로 MSE(0.72 ± 0.19 × 10⁻²)를 기록했으며, VACA(17.71 ± 9.23 × 10⁻²)와 CAREFL(7.30 ± 0.95 × 10⁻²)를 크게 앞서나갔다.
• Sachs 데이터셋의 NADD 설정에서 DCM은 반대로 MSE 1.99 ± 2.49 × 10⁻²를 기록했으며, VACA(7.30 ± 11.57 × 10⁻²)와 CAREFL(8.30 ± 8.34 × 10⁻²)를 모두 앞섰다.
• NLIN 설정에서 Ladder 그래프에서 DCM은 관찰 MMD가 0.16 ± 0.11로 가장 낮아 분포의 정밀도가 뛰어나다는 것을 보여주었다.
• 이론적 분석 결과, DCM에서 반대로 추정 오차는 합리적인 가정 하에 경계가 존재함을 입증하였으며, 이는 다른 에ncoder-디코더 모델에도 일반화 가능한 프레임워크를 제공한다.
• 다양한 구조적 방정식 유형(선형, 비선형, 비가산)을 가진 합성 데이터셋에 대한 실증 결과는, 테스트된 모든 그래프 구조에서 DCM이 간섭 및 반대로 질문에 있어 일관되게 최고의 성능을 보임을 보여주었다.