[논문 리뷰] Causal Inference by Stochastic Complexity

Kailash Budhathoki, Jilles Vreeken|arXiv (Cornell University)|2017. 02. 22.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 4

한 줄 요약

이 논문은 인과 방향 식별을 위한 새로운 인과 추론 방법인 cisc를 제안한다. 이 방법은 최소 기술 길이(MDL) 원리를 통해 확률적 복잡도를 이용해 콜모고로프 복잡도를 근사한다. 다항분포 모델 클래스에 대해 최소 최대 최적의 인코딩을 활용함으로써 cisc는 이산 단변량 데이터에서 높은 정확도와 선형 시간 복잡도 확장성을 달성하며, 시뮬레이션, 벤치마크, 실제 데이터 세트에서 최신 기술을 능가한다. 특히 21개의 확실한 벤치마크 쌍에서 100% 정확도를 기록하였다.

ABSTRACT

The algorithmic Markov condition states that the most likely causal direction between two random variables X and Y can be identified as that direction with the lowest Kolmogorov complexity. Due to the halting problem, however, this notion is not computable. We hence propose to do causal inference by stochastic complexity. That is, we propose to approximate Kolmogorov complexity via the Minimum Description Length (MDL) principle, using a score that is mini-max optimal with regard to the model class under consideration. This means that even in an adversarial setting, such as when the true distribution is not in this class, we still obtain the optimal encoding for the data relative to the class. We instantiate this framework, which we call CISC, for pairs of univariate discrete variables, using the class of multinomial distributions. Experiments show that CISC is highly accurate on synthetic, benchmark, as well as real-world data, outperforming the state of the art by a margin, and scales extremely well with regard to sample and domain sizes.

연구 동기 및 목표

• 인과 추론에서 콜모고로프 복잡도의 비가역성 문제를 해결하기 위해 정보 이론에 기반한 계산 가능한 대체 방법을 제안한다.
• 진정한 분포가 모델 클래스 외부에 있을 경우에도 최소 최대 최적성을 보장하는 알고리즘 마르코프 조건에 기반한 인과 추론 프레임워크를 개발한다.
• 다항분포를 사용하여 단변량 이산 변수에 대해 이 프레임워크를 구현하고 실용적 효능을 입증한다.
• 다양한 데이터 유형—시뮬레이션, 벤치마크, 실제 데이터—에서 방법을 평가하여 강건성과 확장성을 입증한다.
• 재현 가능성과 향후 연구를 지원하기 위해 오픈소스 코드와 데이터를 제공한다.

제안 방법

• 이 방법은 최소 기술 길이(MDL) 원리를 통해 확률적 복잡도를 이용해 콜모고로프 복잡도를 근사하며, 특히 정규화된 최대 우도(NML) 스코어를 사용한다. 이는 주어진 모델 클래스에 대해 최소 최대 최적이다.
• 이산 단변량 변수 쌍에 대해, P(X) + P(Y|X)의 확률적 복잡도와 P(Y) + P(X|Y)의 복잡도를 비교하여 더 낮은 총 복잡도를 가진 방향을 인과 방향으로 선택한다.
• 다항분포의 확률적 복잡도는 폐쇄형 표현식을 통해 효율적으로 계산되며, 이는 표본 크기와 도메인 크기와 선형 시간 복잡도를 보장한다.
• NML 스코어는 진정한 분포가 클래스에 포함되지 않더라도, 최소 최대 최적성 덕분에 데이터에 대한 모델 클래스 기반 최적의 인코딩을 보장한다.
• 조건부 확률적 복잡도는 X의 각 값에 대해 Y의 확률적 복잡도의 합으로 정의되며, 이는 국소적 의존성 모델링을 가능하게 한다.
• 이 프레임워크는 cisc(Causal Inference by Stochastic Complexity)로 구현되었으며, 공개적으로 사용 가능하다.

실험 결과

연구 질문

• RQ1 확률적 복잡도는 인과 추론을 위한 콜모고로프 복잡도의 계산 가능한 최적 대체 방법이 될 수 있는가?
• RQ2 NML 스코어의 최소 최대 최적성은 진정한 데이터 생성 분포가 모델 클래스 외부에 있을 경우에도 강건한 인과 방향 식별을 보장하는가?
• RQ3 cisc는 시뮬레이션, 벤치마크, 실제 이산 데이터에서 최신 기술 대비 어떻게 성능을 내는가?
• RQ4 표본 크기와 도메인 크기가 증가함에 따라 cisc는 효율적으로 확장될 수 있는가, 동시에 높은 정확도를 유지하는가?
• RQ5 qualitative 사례 연구를 통해 cisc는 실제 데이터에서 타당한 인과 방향을 올바르게 추론하는가?

주요 결과

• cisc는 티빙엔 벤치마크 데이터셋의 21개 가장 확신할 수 있는 쌍에서 100% 정확도를 기록했으며, 이는 기존의 이산 데이터 기반 방법들을 크게 능가한다.
• 전체 티빙엔 벤치마크 95개의 단변량 쌍에 대해 cisc는 총 정확도 67%를 기록했으며, 연속형 변수 데이터에 대한 최신 기술 수준과 유사하다.
• 모델 외부 분포(예: 기하분포, 초기하분포, 포isson 분포)를 가진 시뮬레이션 데이터에서 cisc는 최신 기술을 능가했으며, 모델 잘못 설정에 대한 강건성을 입증했다.
• cisc는 선형 시간 계산 복잡도를 보이며, 표본 크기와 도메인 크기 증가에 따라 효율적으로 확장 가능해 대규모 응용에 실용적이다.
• 세 개의 실제 사례 연구에서 cisc는 모든 경우에서 올바른 인과 방향을 추론했다—교육과 직업이 모두 수입을 영향을 주는 결과로 정확히 예측하였다.
• 이 방법의 최소 최대 최적성 덕분에 진정한 분포가 다항분포 모델 클래스에 포함되지 않더라도, 클래스 기반으로 최적의 인코딩이 유지되어 강건성을 뒷받침한다.