[논문 리뷰] Causal Inference and Mechanism Clustering of A Mixture of Additive Noise Models

Shoubo Hu, Zhitang Chen외 3명|arXiv (Cornell University)|2018. 09. 23.

Gaussian Processes and Bayesian Inference인용 수 12

한 줄 요약

이 논문은 다수의 이질적인 인과 과정에서 유래한 데이터에서 인과 추론과 메커니즘 클러스터링을 해결하기 위해 가감성 노이즈 모델의 혼합모형(ANM-MM)을 제안한다. 일반화된 선형모형 잠재변수 모델(GP-LVM)을 일반화된 선형모형 부분관측모형(GPPOM)으로 확장함으로써, 인과 방향 식별과 기저 메커니즘에 따라 관측치를 클러스터링할 수 있게 되었으며, 합성 데이터 및 실세계 데이터(스위스 두 지역의 대기질 데이터 포함)에서 100%의 인과 추론 정확도와 강인한 클러스터링 성능을 달성하였다.

ABSTRACT

The inference of the causal relationship between a pair of observed variables is a fundamental problem in science, and most existing approaches are based on one single causal model. In practice, however, observations are often collected from multiple sources with heterogeneous causal models due to certain uncontrollable factors, which renders causal analysis results obtained by a single model skeptical. In this paper, we generalize the Additive Noise Model (ANM) to a mixture model, which consists of a finite number of ANMs, and provide the condition of its causal identifiability. To conduct model estimation, we propose Gaussian Process Partially Observable Model (GPPOM), and incorporate independence enforcement into it to learn latent parameter associated with each observation. Causal inference and clustering according to the underlying generating mechanisms of the mixture model are addressed in this work. Experiments on synthetic and real data demonstrate the effectiveness of our proposed approach.

연구 동기 및 목표

• 실세계 데이터에서 관측치가 다수의 이질적인 인과 메커니즘에서 유래하는 상황에서 단일 인과 모델 접근법의 한계를 해결하기 위해.
• 일반 조건 하에서 식별 가능한 인과 방향을 가진 가감성 노이즈 모델의 혼합모형(ANM-MM)을 체계화하기 위해.
• 기본 데이터 생성 메커니즘이 파arameter 값만 다를 경우에도 관측치를 그 기저 메커니즘에 따라 클러스터링할 수 있는 방법을 개발하기 위해.
• 혼합된 데이터 소스, 연속형 변수, 다양한 노이즈 수준이 존재하는 환경에서도 강인한 인과 추론과 메커니즘 클러스터링을 가능하게 하기 위해.

제안 방법

• 각 구성요소가 동일한 기능 형태를 공유하지만 매개변수 값(θ)이 다름. θ는 유한한 메커니즘 집합 위에서 이산 확률분포로부터 추출됨. 이를 통해 가감성 노이즈 모델의 혼합모형(ANM-MM)을 제안.
• 각 관측치에 대한 잠재 표현 추정 및 매개변수 추론을 위해 일반화된 선형모형 부분관측모형(GPPOM)을 도입. 이는 GP-LVM의 변종임.
• GPPOM 프레임워크 내에서 노이즈 항(ε)과 원인(X) 간의 독립성 강제 조건을 통합하여 식별 가능성과 모델 일관성을 확보.
• 학습된 잠재 표현과 매개변수 추정치를 활용해 기저 메커니즘에 따라 관측치의 인과 방향 추론 및 클러스터링 수행.
• 잠재 변수, 메커니즘 매개변수, 혼합 비율을 동시에 추정하기 위해 가능도 기반 최적화 프레임워크를 활용.
• 성능 검증을 위해 Adjusted Rand Index(ARI)와 인과 추론 정확도를 활용한 클러스터링 평가 수행.

실험 결과

연구 질문

• RQ1 다양한 매개변수 값을 가진 다수의 메커니즘에서 유래한 데이터에서, ANM-MM의 인과 방향을 일반 조건 하에서 식별할 수 있는가?
• RQ2 동일한 기능 형태를 공유하고 노이즈 수준이 다를 경우에도, 동일한 기저 메커니즘에서 유래한 관측치를 효과적으로 클러스터링할 수 있는가?
• RQ3 노이즈 표준편차, 메커니즘 수, 혼합 비율의 변화에 대해 제안된 방법의 강인성은 어떠한가?
• RQ4 이질적인 데이터 소스를 가진 실세계 데이터에서, 이전의 인과 추론 및 클러스터링 기법들을 능가할 수 있는가?

주요 결과

• 일반 조건 하에서 ANM-MM의 인과 방향은 식별 가능하며, 제안된 방법은 모든 테스트된 합성 데이터 시나리오에서 100%의 인과 추론 정확도를 달성하였다.
• 합성 데이터에서 메커니즘 수가 2개에서 3개로 증가하더라도 ANM-MM는 100% 정확도 유지. 모든 베이스라인보다 뛰어난 성능 확보.
• 클러스터링 과제에서 ANM-MM는 실세계 BAFU 대기질 데이터에서 Adjusted Rand Index(ARI) = 0.503를 기록. k-means(ARI = -0.001), GMM(0.003), 스펙트럴 클러스터링(0.078), DBSCAN(0.003)을 크게 앞서며 유의미한 성능 향상 확보.
• 노이즈 표준편차 및 혼합 비율 변화에 대해 강인한 성능 유지. 다른 방법들은 심각한 성능 저하를 보이는 반면 ANM-MM는 높은 성능 유지.
• 튀빙엔 인과-결과 벤치마크에서 ANM-MM는 중앙값 정확도 약 82%를 기록. 비교된 모든 방법 중 최고 수준.
• 대기질 데이터에서 위치 기반 메커니즘을 성공적으로 파악. 두 개의 스위스 지역에서 유래한 데이터를 클러스터링을 통해 정확히 식별. 다른 방법들은 이러한 구조를 포착하지 못함.