[논문 리뷰] Distinguishing cause from effect using observational data: methods and benchmarks

Joris M. Mooij, Jonas Peters외 3명|arXiv (Cornell University)|2014. 12. 11.

Bayesian Modeling and Causal Inference참고 문헌 100인용 수 324

한 줄 요약

이 논문은 관측 데이터만을 사용하여 원인과 결과를 구분하는 방법을 제안하고 평가하며, 추가 노이즈 모델(ANM)과 정보 기하학적 인과 추론(IGCI)에 중점을 두고 있다. 다양한 분야에서 100개의 실제 원인-결과 쌍을 포함한 CauseEffectPairs 벤치마크를 도입하여, ANM이 실제 데이터에서 63%의 정확도와 0.74의 AUC를 달성함을 보이며, 이 방법의 이론적 일致성도 입증하였다.

ABSTRACT

The discovery of causal relationships from purely observational data is a fundamental problem in science. The most elementary form of such a causal discovery problem is to decide whether X causes Y or, alternatively, Y causes X, given joint observations of two variables X, Y. An example is to decide whether altitude causes temperature, or vice versa, given only joint measurements of both variables. Even under the simplifying assumptions of no confounding, no feedback loops, and no selection bias, such bivariate causal discovery problems are challenging. Nevertheless, several approaches for addressing those problems have been proposed in recent years. We review two families of such methods: Additive Noise Methods (ANM) and Information Geometric Causal Inference (IGCI). We present the benchmark CauseEffectPairs that consists of data for 100 different cause-effect pairs selected from 37 datasets from various domains (e.g., meteorology, biology, medicine, engineering, economy, etc.) and motivate our decisions regarding the "ground truth" causal directions of all pairs. We evaluate the performance of several bivariate causal discovery methods on these real-world benchmark data and in addition on artificially simulated data. Our empirical results on real-world data indicate that certain methods are indeed able to distinguish cause from effect using only purely observational data, although more benchmark data would be needed to obtain statistically significant conclusions. One of the best performing methods overall is the additive-noise method originally proposed by Hoyer et al. (2009), which obtains an accuracy of 63+-10 % and an AUC of 0.74+-0.05 on the real-world benchmark. As the main theoretical contribution of this work we prove the consistency of that method.

연구 동기 및 목표

• 이차적 관측 데이터에서 인과 방향을 추론하는 데 있어 근본적인 과제를 해결하기 위해.
• 실험적 간섭이나 추가 관측 변수 없이도 원인과 결과를 구분할 수 있는 방법을 개발하고 평가하기 위해.
• 실제 데이터 기반 이차적 인과 추론 방법 평가를 위한 표준화된 벤치마크를 구축하기 위해.
• 실제 및 시뮬레이션 데이터에서 ANM과 IGCI 방법의 경험적 성능을 현실적인 가정 하에 평가하기 위해.
• 인과 추론을 위한 추가 노이즈 모델 접근법의 이론적 일치 보장을 제공하기 위해.

제안 방법

• 원인-결과 관계를 추론하기 위해 Y = f(X) + N 형태의 모델이 가능할 경우, 오차 항 N 이 원인 X 와 독립일 때 이를 검증하는 추가 노이즈 모델(ANM)을 제안한다.
• 정보 기하학적 인과 추론(IGCI)을 적용하여, 특히 오차 항이 원인과 독립임을 고려한 정보 기하학적 비대칭성을 활용한다.
• ANM 프레임워크 내에서 함수 f 를 비모수적 추정을 위해 가우시안 프로세스 회귀를 사용한다.
• IGCI에서 정보 이론적 측정치를 계산하기 위해 간격 추정기와 ent-PSD를 포함한 엔트로피 추정기를 사용한다.
• 수동으로 캐리된 참값이 있는 37개의 실제 도메인에서 유래한 100개의 원인-결과 쌍을 포함한 벤치마크 데이터셋인 CauseEffectPairs를 구현한다.
• 정확도와 AUC 등의 지표를 사용하여 실제 데이터와 인위적으로 시뮬레이션한 데이터 양쪽에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 두 변수만 관측되었을 때 관측 데이터만으로도 인과 방향을 신뢰성 있게 추론할 수 있는가?
• RQ2 실제 데이터에서 ANM 및 IGCI 방법의 성능은 시뮬레이션 데이터에서의 성능에 비해 얼마나 우수한가?
• RQ3 새로 제안된 CauseEffectPairs 벤치마크에서 ANM 및 IGCI의 경험적 성능은 어떠한가?
• RQ4 추가 노이즈 모델 방법은 프레임워크의 가정 하에 일관된가?
• RQ5 다양한 엔트로피 추정기와 구현 방식의 선택이 IGCI 및 ANM의 성능과 계산 시간에 어떤 영향을 미치는가?

주요 결과

• 추가 노이즈 모델(ANM) 방법은 실제 원인-결과 쌍 벤치마크에서 63%의 정확도와 AUC 0.74를 기록하여 관측 데이터에서 인과 방향을 성공적으로 추론할 수 있음을 시사한다.
• IGCI 방법은 ANM 방법보다 약 두 개의 지수 차수 빠르며, 비모수적 회귀가 필요로 하지 않기 때문이다.
• ANM-MML 변종은 모수 분포의 MML 추정이 계산적으로 비용이 많이 들기 때문에 특히 느리다.
• ent-PSD 엔트로피 추정기는 IGCI 구현 중에서 가장 느리지만, 유일하게 데이터 변형에 대해 강건함을 보였다.
• 계산 시간은 방법에 따라 다르며, 가우시안 프로세스 회귀가 ANM 구현에서 주요 성능 저하 요인이다.
• ANM 방법의 이론적 일치성은 모델 가정 하에 입증되었으며, 이는 인과 추론 분야에서의 응용에 탄탄한 기초를 제공한다.