[논문 리뷰] Learning Causal Structures Using Regression Invariance

AmirEmad Ghassami, Saber Salehkaleybar외 2명|arXiv (Cornell University)|2017. 05. 26.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 13

한 줄 요약

이 논문은 외생 잡음 분포가 환경 간으로만 변하는 다중 환경 데이터를 사용하여 선형 가우시안 구조 방정식 모델에서 인과적 구조를 식별하기 위한 새로운 방법, LRE(Learning Regression Invariance)를 제안한다. 원인에서 영향으로의 회귀 계수의 변화 없음을 환경 간에 활용함으로써, 표준 조건부 독립 또는 간섭 기반 방법이 실패하는 경우에도 인과적 방향을 구별할 수 있으며, 실험 결과 PC 및 IP 알고리즘보다 높은 정확도와 낮은 무방향 엣지 비율을 달성한다.

ABSTRACT

We study causal inference in a multi-environment setting, in which the functional relations for producing the variables from their direct causes remain the same across environments, while the distribution of exogenous noises may vary. We introduce the idea of using the invariance of the functional relations of the variables to their causes across a set of environments. We define a notion of completeness for a causal inference algorithm in this setting and prove the existence of such algorithm by proposing the baseline algorithm. Additionally, we present an alternate algorithm that has significantly improved computational and sample complexity compared to the baseline algorithm. The experiment results show that the proposed algorithm outperforms the other existing algorithms.

연구 동기 및 목표

• 표준 관측 방법이 마르코프 등가성과 가우시안 잡음으로 인해 실패하는 선형 가우시안 모델에서 인과적 구조 식별 문제를 해결하기 위해.
• 제어된 간섭 없이 환경 간 외생 잡음 분포의 변화를 활용하여 인과적 방향을 추론할 수 있는 방법을 개발하기 위해.
• 다중 환경 불변성 가정 하에 완전성(completeness)을 달성하는 알고리즘을 제안하기 위해.
• 기본 방법 대비 계산 및 표본 복잡도를 줄이면서도 높은 정확도를 유지하기 위해.

제안 방법

• 이 방법은 여러 환경 간에 각 변수에서 다른 모든 변수로의 회귀 계수의 불변성을 테스트하여 인과적 구조를 식별한다.
• 이중 단계 알고리즘을 사용한다: 첫 번째 단계는 스켈레톤을 복원하기 위해 조건부 독립 테스트(예: PC 알고리즘)를 수행하고, 두 번째 단계는 엣지 방향을 결정하기 위해 회귀 불변성 테스트를 수행한다.
• 각 환경 쌍에 대해, 변수 Y에 대한 변수 X의 회귀 계수가 환경 간에 불변인지에 대한 가설 검정을 수행한다.
• 각 검정의 귀무가설은 회귀 계수가 불변하다는 것이며, 귀무가설을 기각하면 X가 Y의 원인이 됨을 나타낸다.
• 알고리즘은 유의수준 α를 사용하여 오류 비율을 제어하여 출력의 고확률 정확성을 확보한다.
• 최적화된 버전은 첫 번째 단계에서 전체 조건부 독립 테스트를 피하기 위해 계산 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 마르코프 등가성으로 인해 표준 조건부 독립 테스트가 실패하는 선형 가우시안 모델에서 인과적 방향을 식별할 수 있는가?
• RQ2 제어된 간섭 없이 환경 간 외생 잡음 분포의 변화를 활용하여 인과적 구조를 추론할 수 있는가?
• RQ3 불변성 가정 하에 완전성 인과 발견을 달성하는 계산 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 제안된 방법은 PC, IP 및 LiNGAM과 같은 기존 방법과 비교해 정확도와 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• 두 환경에서 한 변수의 외생 잡음만 변화시킬 경우, LRE 알고리즘이 PC 알고리즘 대비 무방향 엣지(UD) 비율을 8% 감소시킨다.
• LiNGAM의 오류 비율은 LRE에 비해 약 두 배 높으며, LRE의 오류 비율은 유의미하게 낮다.
• Invariants Prediction(IP) 방법의 오류 비율은 훼손된 변수의 수가 증가할수록 증가한다. 이는 IP 방법이 목표 변수의 잡음 분포가 불변하다고 가정하기 때문이다.
• 합성 데이터에서 LRE 알고리즘이 PC 및 IP 알고리즘보다 오류 비율과 유도 엣지 복구 성능 측면에서 뛰어나다.
• 실제 교육 성취도 데이터에서는 LRE가 기초 연도 종합 시험 점수와 아버지의 교육 수준이 교육 성취도에 중요한 원인임을 정확히 식별하였으며, 이는 IP 방법과 일치한다.