[논문 리뷰] Consistency of Causal Inference under the Additive Noise Model

Samory Kpotufe, Eleni Sgouritsa외 2명|arXiv (Cornell University)|2013. 12. 19.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 27

한 줄 요약

이 논문은 이변량 설정에서 Additive Noise Model (ANM)에 대한 인과 추론의 최초 통계적 일致성 결과를 확립한다. 이는 커널 밀도 추정과 엔트로피 기반의 통일성 검정을 사용하는 일반적인 ANM 기반 추론 방법이 약한 알고리즘적 및 분포 꼬리 조건 하에서 일치함을 증명하며, 표본 크기가 증가함에 따라 올바른 인과 방향 탐지 보장한다.

ABSTRACT

We analyze a family of methods for statistical causal inference from sample under the so-called Additive Noise Model. While most work on the subject has concentrated on establishing the soundness of the Additive Noise Model, the statistical consistency of the resulting inference methods has received little attention. We derive general conditions under which the given family of inference methods consistently infers the causal direction in a nonparametric setting.

연구 동기 및 목표

• ANM 하에서 인과 추론 방법의 통계적 일치성을 확립함. 이는 이론적으로 유한 표본에 대한 보장을 아직 확보하지 못한 바가 있다.
• ANM 기반 추론 절차가 올바른 인과 방향으로 수렴하는 데 필요한 최소한의 알고리즘적 및 분포 조건을 규명함.
• 유한 표본 추론에서 추정된 잡음과 입력 변수 간의 종속성이라는 핵심 과제를 다룸.
• 식별 가능성 이상의 이론적 이해을 실용적 추론 알고리즘의 통계적 행동으로 확장함.
• 먼저 이변량 케이스를 분석하여 다변량 인과 발견에서 ANM 기반 일치성의 기초를 마련함.

제안 방법

• 잔차(잡음 항)의 밀도를 비모수적으로 추정하기 위해 커널 밀도 추정을 사용함.
• 입력 변수와 추정 잡음 간의 조건부 통일성을 검정하기 위해 엔트로피 기반의 통일성 측정법을 사용함.
• 밀도 및 엔트로피 추정기의 추정 오차를 제어하기 위해 농도 부등식과 편향 경계를 적용함.
• 미묘한 규칙성 및 꼬리 조건 하에서 추정 잡음의 엔트로피가 진짜 구조적 잡음 항의 엔트로피로 수렴함을 확립함.
• 커널 함수의 균일 수렴 결과 및 유계 도함수 가정을 활용해 밀도 추정의 편향을 제어함.
• 마르코프 부등식과 엔트로피 연속성에 관한 보조정리를 사용해, 지정된 조건 하에서 추정 엔트로피가 확률적으로 진짜 엔트로피로 수렴함을 보임.

실험 결과

연구 질문

• RQ1 ANM 기반 인과 추론 방법이 어떤 조건에서 유한 표본으로부터 진짜 인과 방향을 일관되게 복원할 수 있는가?
• RQ2 회귀 및 잡음 밀도 추정의 추정 오차가 ANM에서의 통일성 검정의 일관성에 어떤 영향을 미치는가?
• RQ3 진짜 인과 방향을 보장하기 위해 필요한 구조적 잡음과 입력 변수의 분포 꼬리 조건은 무엇인가?
• RQ4 ANM이 식별 가능할 경우, 추정 잡음에 적용된 엔트로피 기반의 통일성 검정이 진짜 인과 방향을 일관되게 탐지할 수 있는가?
• RQ5 ANM 기반 인과 발견에서 일관성을 확보하기 위한 최소한의 알고리즘적 요구사항(예: 회귀 및 엔트로피 추정 방법)은 무엇인가?

주요 결과

• 제안된 ANM 추론 절차는 통계적으로 일관됨: 표본 크기가 증가함에 따라, 방법은 확률이 1에 수렴하는 방식으로 올바른 인과 방향을 정확히 식별함.
• 약한 조건 하에서 일관성이 달성됨: 회귀 함수와 잡음 밀도는 충분히 매끄러워야 하며, 잡음은 가벼운 꼬리(지수 또는 그 이하)를 가져야 함.
• 추정 잡음의 엔트로피는 확률적으로 진짜 구조적 잡음 항의 엔트로피로 수렴함으로써, 신뢰할 수 있는 통일성 검정 보장됨.
• 잔차의 커널 밀도 추정의 편향은 $L^1$-오차로 제어되며, 이는 $n^{-\beta}$ 속도로 감소함. 여기서 $\beta = \min\{(1-\alpha)/2, \alpha\}$.
• 밀도의 $L^1$ 수렴 하에서 엔트로피의 연속성에 기반해 엔트로피 추정기의 수렴이 확립됨. 이는 유계 지지 및 꼬리 조건 하에서 성립함.
• 유한 표본 수렴 속도는 추정 잡음과 입력 변수 간의 본질적 종속성으로 인해 더 강한 분포 가정이 없이는 거의 불가능함을 시사함.