[논문 리뷰] Causal Discovery from Heterogeneous/Nonstationary Data with Independent Changes

Biwei Huang, Kun Zhang외 5명|arXiv (Cornell University)|2019. 03. 05.

Bayesian Modeling and Causal Inference참고 문헌 45인용 수 14

한 줄 요약

이 논문은 이질적 또는 비stationary 데이터에서 독립적인 변화를 활용하여 인과 발견을 위한 비모수적 프레임워크인 CD-NOD을 제안한다. 조건부 이상성 테스트를 통해 인과 스케leton을 식별하고, 분포 이동을 이용해 인과 방향을 추론하며, 메커니즘 변화의 저차원적 '주도력'을 추정함으로써, 혼란 변수와 비stationarity가 존재하는 상황에서도 강건한 인과 추론을 가능하게 한다.

ABSTRACT

It is commonplace to encounter heterogeneous or nonstationary data, of which the underlying generating process changes across domains or over time. Such a distribution shift feature presents both challenges and opportunities for causal discovery. In this paper, we develop a framework for causal discovery from such data, called Constraint-based causal Discovery from heterogeneous/NOnstationary Data (CD-NOD), to find causal skeleton and directions and estimate the properties of mechanism changes. First, we propose an enhanced constraint-based procedure to detect variables whose local mechanisms change and recover the skeleton of the causal structure over observed variables. Second, we present a method to determine causal orientations by making use of independent changes in the data distribution implied by the underlying causal model, benefiting from information carried by changing distributions. After learning the causal structure, next, we investigate how to efficiently estimate the "driving force" of the nonstationarity of a causal mechanism. That is, we aim to extract from data a low-dimensional representation of changes. The proposed methods are nonparametric, with no hard restrictions on data distributions and causal mechanisms, and do not rely on window segmentation. Furthermore, we find that data heterogeneity benefits causal structure identification even with particular types of confounders. Finally, we show the connection between heterogeneity/nonstationarity and soft intervention in causal discovery. Experimental results on various synthetic and real-world data sets (task-fMRI and stock market data) are presented to demonstrate the efficacy of the proposed methods.

연구 동기 및 목표

• 다양한 도메인 또는 시간에 걸쳐 변화하는 메커니즘으로 인한 분포 이동이 있는 데이터에서 인과 발견의 과제를 해결한다.
• 창문 분할이나 엄격한 분포 가정에 의존하지 않는 비모수적 방법을 개발한다.
• 메커니즘이 변화하는 변수를 식별하고, 비stationarity가 존재하는 관찰 데이터로부터 인과 스케leton을 복원한다.
• 데이터 분포의 독립적인 변화를 활용하여 인과 간선의 방향을 결정함으로써 인과 방향 식별을 향상시킨다.
• 비stationarity의 원인을 나타내는 저차원적 '주도력'을 추정한다.

제안 방법

• 메커니즘이 변화하는 변수를 탐지하고 인과 스케leton을 복원하기 위해 커널 기반 조건부 이상성 테스트를 사용하는 제약 기반 절차를 제안한다.
• 공통 분포를 비모수적으로 표현하고 조건부 이상성 테스트를 수행하기 위해 커널 분포 임bedding(KDE)를 활용한다.
• 변수 간에 독립적인 분포 이동을 활용하여 인과 간선의 방향을 정하는 독립적 변화 원칙을 도입한다.
• 인과 방향을 추론하기 위해 근원 분포와 조건부 분포 간의 조건부 이상성을 평가하기 위해 탈혼란 집합 Z를 사용한다.
• 재생 핵 힐버트 공간(RKHS) 내에서 변화 표현의 저랭크 근사를 통해 비stationarity의 '주도력'을 추정한다.
• 순간적 및 지연된 인과 효과를 모두 고려하는 동적 시스템을 다룰 수 있도록 프레임워크를 확장하고, 정적 혼란 변수를 고려한다.

실험 결과

연구 질문

• RQ1 이질적 또는 비stationary 데이터에서 메커니즘이 도메인 또는 시간에 따라 변화하는 상황에서 어떻게 인과 스케leton을 신뢰성 있게 복원할 수 있는가?
• RQ2 메커니즘의 독립적 변화로 인한 분포 이동을 활용하여 간섭 없이 인과 방향을 식별할 수 있는가?
• RQ3 메커니즘 변화의 원인을 나타내는 저차원적이고 해석 가능한 표현(즉, '주도력')을 어떻게 추정할 수 있는가?
• RQ4 비관측 혼란 변수가 존재하는 상황에서도 데이터의 이질성이 인과적 구조 식별에 기여하는가?
• RQ5 비stationarity와 인과 발견에서의 소프트 간섭 간의 관계는 무엇인가?

주요 결과

• 제안된 CD-NOD 프레임워크는 관찰 데이터만을 사용하여 이질적이고 비stationary 데이터로부터 인과 스케leton과 방향을 성공적으로 복원한다.
• 메커니즘의 독립적 변화로 인한 분포 이동을 활용하여 인과 방향을 식별함으로써, 시뮬레이션 및 실세계 데이터(예: fMRI 및 주식 시장 데이터)에서 높은 정확도를 달성한다.
• 주도력 추정 방법은 비stationarity의 원인을 반영하는 메커니즘 변화의 저차원 표현을 효과적으로 추출한다.
• 정적 비관측 혼란 변수가 존재하는 다양한 혼란 상황에서도 프레임워크가 강건함을 입증하였으며, 이는 데이터의 이질성이 혼란이 존재하는 상황에서도 인과 발견에 기여할 수 있음을 보여준다.
• 이론적 분석을 통해 독립적 변화 원칙이 만족될 경우, 세 가지 조건 중 하나 이상(콜라이더, 단일 변화, 간선를 포함하는 변화)이 충족되면 인과 방향이 식별 가능하다는 것을 확인하였다.
• 작업-fMRI 및 주식 시장 데이터에 대한 실증 결과는 CD-NOD가 기준 방법 대비 인과적 구조 복원 및 메커니즘 이동 탐지에서 뛰어난 성능을 보임을 보여준다.