[논문 리뷰] Causal de Finetti: On the Identification of Invariant Causal Structure in Exchangeable Data

Siyuan Guo, Viktor R. Tóth외 2명|arXiv (Cornell University)|2022. 03. 29.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 불변 인과 메커니즘(Invariant Causal Mechanisms, ICM)을 활용하여 교환가능한 데이터에서 유일한 인과 구조를 식별하는 데(formal foundation) 기여하는 인과 de Finetti 정리를 제안한다. 특정 조건부 독립 성질을 만족할 경우, 교환가능한 과정은 ICM 생성 모델로 표현될 수 있으며, 이는 조건부 독립 테스트를 통한 유일한 인과 발견을 가능하게 한다 — 이는 제약 기반 인과 발견에서 i.i.d. 데이터의 기본 식별 불가능성 한계를 해결하는 데 기여한다.

ABSTRACT

Constraint-based causal discovery methods leverage conditional independence tests to infer causal relationships in a wide variety of applications. Just as the majority of machine learning methods, existing work focuses on studying $ extit{independent and identically distributed}$ data. However, it is known that even with infinite i.i.d.$\ $ data, constraint-based methods can only identify causal structures up to broad Markov equivalence classes, posing a fundamental limitation for causal discovery. In this work, we observe that exchangeable data contains richer conditional independence structure than i.i.d.$\ $ data, and show how the richer structure can be leveraged for causal discovery. We first present causal de Finetti theorems, which state that exchangeable distributions with certain non-trivial conditional independences can always be represented as $ extit{independent causal mechanism (ICM)}$ generative processes. We then present our main identifiability theorem, which shows that given data from an ICM generative process, its unique causal structure can be identified through performing conditional independence tests. We finally develop a causal discovery algorithm and demonstrate its applicability to inferring causal relationships from multi-environment data. Our code and models are publicly available at: https://github.com/syguo96/Causal-de-Finetti

연구 동기 및 목표

• i.i.d. 인과 발견에서 유일한 마르코프 동치 클래스만 식별 가능하다는 기본 한계를 해결하기 위해, 더 풍부한 통계적 설정으로서 교환가능한 데이터를 연구한다.
• 교환가능한 과정에 적용 가능한 새로운 유형의 de Finetti 유형 정리들을 도입하여 독립 인과 메커니즘(ICM) 가정을 공식적으로 정당화한다.
• ICM 생성 과정 하에서 진정한 인과 구조가 조건부 독립 테스트를 통해 유일하게 식별 가능하다는 것을 확립한다.
• 다중 환경 데이터를 교환가능한 과정과 연결하고, 이러한 데이터를 위한 실용적인 인과 발견 알고리즘을 개발한다.
• 기존의 비-i.i.d. 그룹화된 데이터와 ICM 가정에 의존하는 방법들에 대한 확률적 기반을 제공한다.

제안 방법

• 교환가능한 분포에서 비트리비얼 조건부 독립성을 갖는 경우를 ICM 생성 과정으로 특성화하는 인과 de Finetti 정리를 도입한다.
• 잠재 매개변수가 각 인과 메커니즘을 지배하는 경우, 이 매개변수가 통계적으로 독립인 과정을 ICM 생성 과정으로 정의한다.
• 주요 식별 가능성 정리 증명: 데이터가 ICM 생성 과정에서 유래된 경우, 기저 인과 그래프는 조건부 독립 테스트를 통해 유일하게 복원 가능하다.
• 다중 환경 데이터를 교환가능한 과정의 i.i.d. 복제본의 유한한 주변분포로 재해석함으로써, 여러 환경에서의 인과 발견을 가능하게 한다.
• 교환가능한 과정가지기 풍부한 구조를 활용하여, 그룹화된 데이터에 대한 조건부 독립 테스트 기반 인과 발견 알고리즘을 개발한다.
• d-분리성과 마르코프 성질을 사용하여 ICM 가정 하에서 인과 그래프 내 조건부 독립 관계를 공식적으로 확립한다.

실험 결과

연구 질문

• RQ1 i.i.d. 데이터와 달리, 교환가능한 데이터는 마르코프 동치 클래스를 초월해 인과 구조를 유일하게 식별할 수 있는가?
• RQ2 어떤 공식적인 확률 조건이 교환가능한 과정이 독립 인과 메커니즘(ICM) 생성 과정으로 표현될 수 있도록 보장하는가?
• RQ3 교환가능한 데이터에서 조건부 독립 테스트를 통해 인과 구조가 언제 유일하게 식별 가능한가?
• RQ4 다중 환경 데이터는 어떻게 교환가능한 과정과 공식적으로 연결될 수 있으며, 이를 통해 인과 발견이 가능하게 하는가?
• RQ5 비-i.i.d. 데이터 설정에서 독립 인과 메커니즘 가정에 대한 이론적 정당성은 무엇인가?

주요 결과

• i.i.d. 데이터보다 교환가능한 데이터는 더 풍부한 조건부 독립 구조를 포함하여, i.i.d. 방법이 실패하는 상황에서도 인과 구조를 유일하게 식별할 수 있다.
• 논문은 특정 조건부 독립 성질을 갖는 교환가능한 과정이 ICM 생성 모델과 동치임을 보여주는 인과 de Finetti 정리를 공식적으로 확립하여 ICM 가정을 정당화한다.
• 주요 식별 가능성 정리에 따르면, 데이터가 ICM 생성 과정에서 유래된 경우 진정한 인과 그래프는 조건부 독립 테스트를 통해 유일하게 복원 가능하다.
• 다중 환경 데이터는 교환가능한 과정의 i.i.d. 복제본의 유한한 주변분포로 간주될 수 있으며, 이는 비-i.i.d. 설정에서의 인과 발견과의 공식적 연결을 제공한다.
• 제안된 알고리즘은 실험을 통해 검증된 바, 조건부 독립 테스트를 활용하여 다중 환경 데이터에서 인과 관계를 성공적으로 추론한다.
• 이 연구는 i.i.d. 가정이 성립하지 않는 상황에서 교환가능성이 유일한 식별 가능성을 가능하게 하므로, 제약 기반 인과 발견의 핵심 한계를 해결한다.