[논문 리뷰] Causal Discovery with Cascade Nonlinear Additive Noise Models

Ruichu Cai, Jie Qiao외 3명|arXiv (Cornell University)|2019. 05. 23.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 10

한 줄 요약

이 논문은 간접적이고 비선형적인 인과 관계에서 중간 변수가 측정되지 않은 경우 인과 방향을 식별하기 위해 캐스케이드 비선형 가감성 노이즈 모델(CANM)을 제안한다. 각 직접 인과 관계 링크를 비선형 가감성 노이즈 과정으로 모델링하고, 변분 오토인코더를 통해 관측되지 않은 중간 변수를 추정함으로써, 표준 ANM이 비선형 모델의 비이행성으로 인해 실패할 경우에도 인과 방향의 식별 가능성을 복원한다.

ABSTRACT

Identification of causal direction between a causal-effect pair from observed data has recently attracted much attention. Various methods based on functional causal models have been proposed to solve this problem, by assuming the causal process satisfies some (structural) constraints and showing that the reverse direction violates such constraints. The nonlinear additive noise model has been demonstrated to be effective for this purpose, but the model class is not transitive--even if each direct causal relation follows this model, indirect causal influences, which result from omitted intermediate causal variables and are frequently encountered in practice, do not necessarily follow the model constraints; as a consequence, the nonlinear additive noise model may fail to correctly discover causal direction. In this work, we propose a cascade nonlinear additive noise model to represent such causal influences--each direct causal relation follows the nonlinear additive noise model but we observe only the initial cause and final effect. We further propose a method to estimate the model, including the unmeasured intermediate variables, from data, under the variational auto-encoder framework. Our theoretical results show that with our model, causal direction is identifiable under suitable technical conditions on the data generation process. Simulation results illustrate the power of the proposed method in identifying indirect causal relations across various settings, and experimental results on real data suggest that the proposed model and method greatly extend the applicability of causal discovery based on functional causal models in nonlinear cases.

연구 동기 및 목표

• 간접 인과 효과에서 중간 변수가 측정되지 않을 경우 표준 비선형 가감성 노이즈 모델(ANM)이 인과 방향을 식별하지 못하는 문제를 해결하기 위해.
• 비선형 가감성 노이즈 과정의 비이행성에도 불구하고 캐스케이드 구조의 인과 식별 가능성을 유지하는 모델을 개발하기 위해.
• 심층 생성 모델 프레임워크를 사용하여 관측 데이터로부터 인과 구조와 측정되지 않은 중간 변수를 추정하기 위해.
• 제안된 CANM 프레임워크 하에서 원인과 노이즈 간의 통독성은 여전히 인과 방향 식별에 유효한 기준임을 입증하기 위해.

제안 방법

• 각 직접 인과 관계 링크가 비선형 가감성 노이즈 구조를 따르는 캐스케이드 비선형 가감성 노이즈 모델(CANM)을 제안한다: $ Z_{i+1} = f_i(Z_i) + N_i $, 여기서 $ N_i $ 는 $ Z_i $ 와 독립이다.
• 관측된 데이터로부터 관측되지 않은 중간 변수와 모델 파라미터를 동시에 추정하기 위해 변분 오토인코더(VAE) 프레임워크를 사용한다.
• 인과 관계의 비대칭성을 평가하기 위해 우도 기반 점수를 활용하며, 낮은 우도가 더 올바른 인과 방향을 나타낸다.
• 관측 데이터에 대해 변분 하한(ELBO)을 최대화하여 잠재 인과 구조와 중간 변수를 학습함으로써 방법을 적용한다.
• 함수 $ f_i $ 에 구조적 제약 조건을 도입하여 일반 조건 하에서 식별 가능성을 보장한다.
• 낮은 점수를 보이는 방향을 선택함으로써, 원인에서 결과로의 방향 $ ilde{ ho}_{X o Y} $ 와 결과에서 원인으로의 방향 $ ilde{ ho}_{Y o X} $ 의 우도 점수를 비교하여 인과 방향을 검증한다.

실험 결과

연구 질문

• RQ1 중간 변수가 측정되지 않고 표준 ANM이 비선형 모델의 비이행성으로 인해 실패할 경우, 측정되지 않은 중간 변수가 있는 간접적 비선형 인과 사슬에서 인과 방향을 신뢰성 있게 식별할 수 있는가?
• RQ2 제안된 CANM 모델이 다수의 측정되지 않은 중간 변수를 거쳐도 원인과 노이즈 간의 독립 조건을 유지하면서 인과 방향의 식별 가능성을 보존하는가?
• RQ3 VAE와 같은 심층 생성 모델이 관측 데이터로부터 측정되지 않은 중간 인과 변수를 효과적으로 복원하고 인과 구조를 추정할 수 있는가?
• RQ4 실제 데이터 및 시뮬레이션 데이터 세트에서 표준 ANM에 비해 제안된 방법의 인과 방향 식별 정확도는 어떻게 비교되는가?

주요 결과

• 제안된 CANM 방법은 표준 ANM이 비선형성의 비이행성으로 인해 실패하는 경우에도 측정되지 않은 중간 변수가 있는 시뮬레이션 데이터에서 정확한 인과 방향을 식별하는 데 성공했다.
• 에너지 데이터셋에서 CANM은 $ ext{시간대} \to \text{전기 사용량} $ 를 $ ilde{ ho}_{X o Y} = -2.62 $ 로 정확히 식별했으며, ANM은 양방향에서 p-value = 0 이므로 실패했다.
• 에너지 데이터셋에서 추정된 중간 변수는 실제 외부 기온과 높은 상관관계(ρ = -0.35)를 보이며, 의미 있는 인과 중간 변수를 효과적으로 복원했음을 시사한다.
• 주식 시장 데이터셋에서 CANM은 $ ext{허친슨} \to \text{선후앙카이} $ 를 $ ilde{ ho}_{X o Y} = -2.49 $ 로 식별했으며, ANM은 인과 방향을 실패했다(p-value = 0.006 < 0.05).
• 주식 시장 데이터에서 피팅된 중간 변수는 실제 쿠잉콩 주식 수익률과 강한 상관관계(ρ = -0.54)를 보이며, 모델이 의미 있는 잠재 인과 변수를 효과적으로 복원할 수 있음을 검증한다.
• 이론적 분석은 적절한 조건 하에서 CANM 프레임워크 내에서 원인과 노이즈 간의 독립성이 여전히 인과 방향 식별에 유효한 기준임을 확인한다.