[논문 리뷰] Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs

Feng Xie, Ruichu Cai외 4명|arXiv (Cornell University)|2020. 10. 10.

Bayesian Modeling and Causal Inference참고 문헌 31인용 수 10

한 줄 요약

이 논문은 잠재 공변인자 간의 인과적 관계가 있는 선형 비정규 잠재변수 모델(LiNGLaMs)에서 잠재변수 인과 그래프를 추정하기 위해 일반화된 독립적 노이즈(GIN) 조건을 제안한다. GIN 조건은 관측된 변수들의 선형 조합과 다른 집합 간의 통계적 인과성 테스트를 통해 루트 잠재변수 집합을 식별하고, 방향성 포함 인과 구조를 복원하며, 시뮬레이션 및 실세계 데이터에서 이전 방법들을 능가한다.

ABSTRACT

Causal discovery aims to recover causal structures or models underlying the observed data. Despite its success in certain domains, most existing methods focus on causal relations between observed variables, while in many scenarios the observed ones may not be the underlying causal variables (e.g., image pixels), but are generated by latent causal variables or confounders that are causally related. To this end, in this paper, we consider Linear, Non-Gaussian Latent variable Models (LiNGLaMs), in which latent confounders are also causally related, and propose a Generalized Independent Noise (GIN) condition to estimate such latent variable graphs. Specifically, for two observed random vectors $\mathbf{Y}$ and $\mathbf{Z}$, GIN holds if and only if $ω^{\intercal}\mathbf{Y}$ and $\mathbf{Z}$ are statistically independent, where $ω$ is a parameter vector characterized from the cross-covariance between $\mathbf{Y}$ and $\mathbf{Z}$. From the graphical view, roughly speaking, GIN implies that causally earlier latent common causes of variables in $\mathbf{Y}$ d-separate $\mathbf{Y}$ from $\mathbf{Z}$. Interestingly, we find that the independent noise condition, i.e., if there is no confounder, causes are independent from the error of regressing the effect on the causes, can be seen as a special case of GIN. Moreover, we show that GIN helps locate latent variables and identify their causal structure, including causal directions. We further develop a recursive learning algorithm to achieve these goals. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.

연구 동기 및 목표

• 기존 인과 발견 방법이 잠재변수 간 인과관계를 모델링하지 못하는 한계를 해결한다.
• 최소 3개의 순수 측정 변수가 각 잠재요인당 필요로 하는 랭크 기반 공분산 방법의 제약을 극복한다.
• 고차 통계 및 비정규성을 활용해 잠재 인과 구조, 특히 인과 방향을 식별한다.
• 관측 데이터로부터 잠재변수 그래프를 추정하기 위한 재귀적 알고리즘을 개발한다.
• 잠재변수 설정에서 공변인자 간 인과적 의존성이 존재하는 경우에도 적용 가능한 독립 노이즈 조건의 일반화를 제공한다.

제안 방법

• 일반화된 독립적 노이즈(GIN) 조건을 제안: 관측 벡터 Y와 Z에 대해, ωᵀY와 Z가 독립이면 GIN 조건이 성립하며, 여기서 ω는 Y와 Z 간의 교차공분산에서 유도된다.
• d-분리(d-separation)를 통해 GIN을 정의: GIN이 성립할 경우, Y의 인과적으로 이른 잠재공통원인 집합은 Y를 Z로부터 d-분리한다.
• Darmois-Skitovitch 정리를 사용해, 잠재변수 집합이 부모를 가질 경우 GIN이 실패함을 증명함으로써 루트 집합 탐지 가능하게 한다.
• GIN 테스트를 통해 루트 잠재변수 집합을 식별하고 반복적으로 인과 구조를 복원하는 재귀적 학습 알고리즘을 개발한다.
• 클러스터 기반 데이터 구조에 GIN을 적용하여, 잠재집합의 반자식들 간의 인과성 독립성 테스트를 통해 인과적 순서를 유추한다.
• 비정규성과 고차 모멘트를 활용해 인과 방향을 구분하고 등가 클래스의 과도한 증가를 방지한다.

실험 결과

연구 질문

• RQ1 잠재 공변인자 간 인과적 관계가 존재하는 경우, 독립 노이즈 조건을 일반화할 수 있는가?
• RQ2 비정규 오차를 가진 LiNGLaMs에서 GIN 조건이 루트 잠재변수 집합을 신뢰성 있게 식별할 수 있는가?
• RQ3 기존의 조건부 인과성 테스트 방법이 실패할 경우, GIN을 사용해 잠재변수 간 인과 방향을 복원할 수 있는가?
• RQ4 재귀적 GIN 기반 알고리즘이 잠재 인과 구조 식별에서 기존 방법과 비교해 성능가능성은 어떠한가?
• RQ5 GIN은 잠재변수 인과 발견에서 등가 클래스 크기를 어느 정도 줄이는가?

주요 결과

• 독립 노이즈 조건은 제안된 GIN 조건의 특수한 경우로, 그 일반성은 검증된다.
• GIN은 잠재집합이 부모를 가지지 않을 때의 독립성 테스트 기반으로 루트 잠재변수 집합을 식별할 수 있다.
• 20개의 잠재변수(60개의 관측변수)를 가진 시뮬레이션 데이터에서, 15%의 잠재변수 누락과 12%의 잠재변수 오염 상황에서도 정렬 정확도가 79%를 기록했다.
• 재귀적 알고리즘이 여러 잠재변수가 동일한 관측변수에 영향을 주는 경우에도 LiNGLaMs에서 인과 구조, 특히 인과 방향을 성공적으로 복원했다.
• Byrne(2010)의 실세계 데이터에서 역할 갈등, 의사결정, 정서적 고갈 등의 타당한 잠재요인을 추론하여 가설적 구성요소와 일치시켰다.
• 3개 이상의 순수 측정변수 필요 없이 고차 통계와 비정규성을 활용함으로써, 랭크 기반 방법보다 우수한 성능을 보였다.