[논문 리뷰] Causal Discovery with Continuous Additive Noise Models

Jonas Peters, Joris M. Mooij외 2명|UvA-DARE (University of Amsterdam)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 59인용 수 154

한 줄 요약

이 논문은 관찰 데이터에서 연속 변수에 대한 원인관계 탐색을 위한 방법을 제안하며, 추가 노이즈 모델(ANM)을 사용하여 약한 조건 하에서도 진정한 원인관계 DAG가 관찰 데이터만으로 식별 가능하다고 보여준다. 이는 신뢰성 기반 접근 방식이 오직 마르코프 동치 클래스만 복원하는 데 반해, 본 논문은 진정한 원인관계 방향까지 식별 가능하다는 점에서 이질적이다. 주요 기여는 ANM 가정 하에서 진정한 원인관계 그래프의 이론적 식별 가능성에 있으며, 유한 표본에 대한 실용적 알고리즘으로는 RESIT 및 독립성 점수 기반 방법을 제시한다.

ABSTRACT

We consider the problem of learning causal directed acyclic graphs from an observational joint distribution. One can use these graphs to predict the outcome of interventional experiments, from which data are often not available. We show that if the observational distribution follows a structural equation model with an additive noise structure, the directed acyclic graph becomes identifiable from the distribution under mild conditions. This constitutes an interesting alternative to traditional methods that assume faithfulness and identify only the Markov equivalence class of the graph, thus leaving some edges undirected. We provide practical algorithms for finitely many samples, RESIT (Regression with Subsequent Independence Test) and two methods based on an independence score. We prove that RESIT is correct in the population setting and provide an empirical evaluation.

연구 동기 및 목표

• 신뢰성 기반 원인관계 탐색 방법의 한계를 해결하기 위해, 마르코프 동치 클래스만 식별하고 간선 방향을 특정하지 못하는 문제를 해결한다.
• 진정한 원인관계 방향성 비순환 그래프(DAG)가 공동 관찰 분포로부터 식별 가능한 조건을 설정한다.
• 추가 노이즈 모델 프레임워크 하에서 유한한 i.i.d. 표본으로부터의 원인관계 탐색을 위한 실용적 알고리즘을 개발한다.
• 비선형성과 비정규 노이즈 조건 하에서 두 변수 간 원인관계 방향이 일반적으로 식별 가능하다는 것을 증명한다.
• 원인관계 최소성 가정이 성립하지 않을 경우에도 이론적 결과를 확장하여 실제 데이터 환경에서의 강건성을 확보한다.

제안 방법

• 각 변수가 부모 변수의 비모수 함수와 독립적인 노이즈의 합으로 표현되는 구조적 방정식 모델(ANM)을 사용한다.
• RESIT(후속 독립성 검정을 통한 회귀) 알고리즘을 적용: 각 변수를 잠재적 부모 변수에 대해 회귀하고 잔차의 독립성을 검정한다.
• 잔차와 부모 변수 간의 통계적 독립성을 평가하여 잠재적 DAG를 점수화하는 독립성 점수 기반 방법을 활용한다.
• X → Y이면 Y = f(X) + N이며 N이 X와 독립적이지만, f가 선형인 경우를 제외하고는 반대 방향은 식별 불가능하다는 사실을 활용한다.
• 理론적 분석에서 정확성 검증을 위해 독립성 오라클을 사용하여 이상적인 조건 하에서 알고리즘의 정확성을 입증한다.
• 잔차가 독립적인 노드를 반복적으로 제거하여 위상 순서를 복원하며, 원인관계 최소성과 비선형성 조건 하에서 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 신뢰성 가정 없이도 공동 관찰 분포로부터 진정한 원인관계 DAG가 언제 식별 가능한가?
• RQ2 비모수적이고 비선형인 구조 함수 조건 하에서 추가 노이즈 모델이 두 변수 간 원인관계 방향을 유일하게 결정할 수 있는가?
• RQ3 ANM 프레임워크 하에서 유한한 i.i.d. 표본으로부터의 원인관계 탐색을 위한 실용적 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 원인관계 최소성 가정이 느슨해지면 식별 가능성에 어떤 영향을 미치는가?
• RQ5 최소 그래프 가정이 제거된 경우에도 올바른 위상 순서가 복원될 수 있는가를 보장할 수 있는가?

주요 결과

• 비선형 구조 함수와 비정규 노이즈 조건 하에서 추가 노이즈 모델(ANM)을 사용할 경우, 진정한 원인관계 DAG는 공동 분포로부터 일반적으로 식별 가능하다.
• RESIT는 인구(population) 설정 하에서 증명 가능하게 정확하며, 회귀 후 잔차의 독립성 검정을 통해 원인관계 그래프를 정확히 식별한다.
• 변수 Y가 X의 비선형 함수와 노이즈의 합으로 표현되고, 노이즈가 X와 독립일 경우, 반대 방향(X가 Y의 함수)은 함수 f가 선형인 경우를 제외하고는 동일한 독립 조건을 만족하지 못한다.
• 비선형 함수에 대해 정규 노이즈를 갖는 경우에 대한 새로운 식별 가능성 결과(보조정리 30)를 확립하여, 이러한 모델이 일반적으로 식별 가능하다는 것을 보여준다.
• 이론적 분석을 통해 Mooij 등(2009)이 제안한 알고리즘이 독립성 오라클에 접근할 수 있을 경우 정확하다는 것을 확인하였으며, 문헌에서 제기된 추측을 해결한다.
• ANM 가정 하에서 최소 그래프 $σ_{0}^{min}$는 유일하며, ANM 제약 조건을 만족하는 모든 그래프는 이 최소 구조의 부분그래프여야 한다.