[논문 리뷰] Estimating Causal Direction and Confounding of Two Discrete Variables

Krzysztof Chalupka, Frederick Eberhardt외 1명|arXiv (Cornell University)|2016. 11. 04.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 5

한 줄 요약

이 논문은 두 개의 이산 변수 간의 인과적 방향성과 교란 구조를 오직 그들의 결합 확률 분포만을 사용하여 추론하는 신경망 분류기를 제안한다. 원인 분포와 원인-결과 메커니즘 간의 독립성을 가정함으로써, 변수의 기수(기수)가 증가할수록 높은 정확도를 달성하며, 이러한 가정 하에 인과적 구조가 실질적으로 식별 가능해지는 것으로 나타났다.

ABSTRACT

We propose a method to classify the causal relationship between two discrete variables given only the joint distribution of the variables, acknowledging that the method is subject to an inherent baseline error. We assume that the causal system is acyclicity, but we do allow for hidden common causes. Our algorithm presupposes that the probability distributions $P(C)$ of a cause $C$ is independent from the probability distribution $P(E\mid C)$ of the cause-effect mechanism. While our classifier is trained with a Bayesian assumption of flat hyperpriors, we do not make this assumption about our test data. This work connects to recent developments on the identifiability of causal models over continuous variables under the assumption of "independent mechanisms". Carefully-commented Python notebooks that reproduce all our experiments are available online at http://vision.caltech.edu/~kchalupk/code.html.

연구 동기 및 목표

• 관측 데이터만을 사용하여 두 이산 변수 간의 인과적 방향성과 교란을 식별하는 방법을 개발하는 것.
• 실험적 간섭 없이도 두 변수 인과 시스템의 근본적인 식별 불가능성 문제를 다루는 것.
• 최소한의 가정 하에 결합 분포만으로도 인과적 구조를 추론할 수 있는지 조사하는 것.
• 실제 세계 유사 분포에서 베이지안 가정 하에 평탄한 하이퍼프리오르를 적용한 신경망 분류기의 성능을 평가하는 것.
• 인과 추론이 본질적으로 식별 불가능한 상황에서도 실질적으로 식별 가능해지는 조건을 탐색하는 것.

제안 방법

• 이 방법은 입력으로 주어진 결합 확률 표 $P(X,Y)$를 기반으로, 여섯 가지 가능한 비순환 인과 모델 중 하나로 인과 구조를 분류하는 신경망을 사용한다.
• 원인 분포 $P(C)$와 메커니즘 $P(E|C)$ 간의 독립성을 가정하며, 이는 연속 변수 인과 추론에서의 '독립 메커니즘' 가정에서 영향을 받았다.
• 분류기는 $P(C)$와 $P(E|C)$ 양쪽에 평탄한 딜리클레 하이퍼프리오르를 적용한 베이지안 프레임워크 하에서 훈련되며, 테스트 데이터는 이 가정을 따를 필요가 없다.
• 실험은 다양한 기수를 가진 정교하게 준비된 합성 데이터셋을 사용하여 다양한 인과 구조에서의 분류 성능을 평가한다.
• 성능 평가는 혼동 행렬과 다수의 시도에 걸친 오류율을 통해 평가되며, 분산 분석과 비균일 하이퍼프리오르에 대한 강건성도 분석된다.
• 기수 증가에 따라 가정된 모델 하에서 우도가 급격히 뾰족해지며, 하나의 인과 구조가 압도적으로 우세해지는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 두 이산 변수의 결합 분포만으로 간섭 없이 인과적 방향성과 교란을 신뢰성 있게 추론할 수 있는가?
• RQ2 원인과 메커니즘 분포의 독립성 가정 하에 변수의 기수 증가에 따라 인과 구조 분류 성능가 어떻게 변하는가?
• RQ3 평탄한 프리오르로 훈련되었음에도 불구하고 비균일 하이퍼프리오르일 경우 분류기 성능이 얼마나 떨어지는가?
• RQ4 어떤 조건에서 본질적으로 식별 불가능한 문제라도 실질적으로 식별 가능해지는가?
• RQ5 원인 분포 $P(C)$와 메커니즘 $P(E|C)$ 간의 독립성 가정이 이산 시스템에서 신뢰할 수 있는 인과 추론을 가능하게 하는가? 이 가정 위반에 대해 얼마나 강건한가?

주요 결과

• 기수 2인 변수에 대해 오류율은 25.7%였지만, 기수가 10으로 증가하면 0.85%로 감소하여 10,000개의 테스트 포인트 중 85개에서 오류가 발생했다.
• 기수가 증가할수록 가정된 모델 하에서 우도가 급격히 뾰족해지며, 하나의 인과 구조가 압도적으로 우세해져 문제의 실질적 식별 가능성이 확보된다.
• 비균일 하이퍼프리오르 조건에서도 성능이 안정적으로 유지되며, 성능의 분산이 증가함에 따라 평균적으로 프리오르 오류에 대한 강건성이 확인되었다.
• 신경망은 모든 경우에서 독립 변수를 정확히 식별하며, 직접적인 인과 방향과 교란 케이스를 구분하지만, 기수가 낮을 경우 $X\rightarrow Y$와 $Y\rightarrow X$를 종종 혼동한다.
• 기수가 높을 경우 원인 분포와 메커니즘 간의 독립성이라는 최소한의 가정 하에 인과 추론이 가능하다는 것이 입증되었다.
• 기본적인 식별 불가능성으로 인한 비제로 오류가 존재하더라도, 기수가 높은 설정에서는 유용하고 신뢰할 수 있는 추론을 제공한다는 것이 결과적으로 확인되었다.