[논문 리뷰] Switching Regression Models and Causal Inference in the Presence of Discrete Latent Variables

Rune Christiansen, Jonas Peters|arXiv (Cornell University)|2018. 08. 16.

Bayesian Modeling and Causal Inference참고 문헌 56인용 수 5

한 줄 요약

이 논문은 일부 원인 부모가 관측되지 않으며 이산 값을 가질 때, 관측된 예측변수 X 중에서 반응변수 Y의 직접 원인을 특정하는 인과 발견 방법 ICPH를 제안한다. h-불변성으로 은닉 변수에 대한 불변 원리를 확장함으로써, 이 방법은 스위칭 회귀 모델과 모형 동등성에 대한 최대우도 검정을 사용하여 온건한 조건 하에 渐近적 유의수준 제어를 달성하며, 시뮬레이션과 실제 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

Given a response $Y$ and a vector $X = (X^1, \dots, X^d)$ of $d$ predictors, we investigate the problem of inferring direct causes of $Y$ among the vector $X$. Models for $Y$ that use all of its causal covariates as predictors enjoy the property of being invariant across different environments or interventional settings. Given data from such environments, this property has been exploited for causal discovery. Here, we extend this inference principle to situations in which some (discrete-valued) direct causes of $ Y $ are unobserved. Such cases naturally give rise to switching regression models. We provide sufficient conditions for the existence, consistency and asymptotic normality of the MLE in linear switching regression models with Gaussian noise, and construct a test for the equality of such models. These results allow us to prove that the proposed causal discovery method obtains asymptotic false discovery control under mild conditions. We provide an algorithm, make available code, and test our method on simulated data. It is robust against model violations and outperforms state-of-the-art approaches. We further apply our method to a real data set, where we show that it does not only output causal predictors, but also a process-based clustering of data points, which could be of additional interest to practitioners.

연구 동기 및 목표

• 반응변수 Y의 일부 직접 원인이 관측되지 않으며 이산 값을 가질 때의 인과 발견 문제를 다루는 것.
• 관측적 인과 발견에 사용되는 불변 원리를 은닉 이산 변수가 있는 경우로 확장하기 위해 h-불변성을 도입하는 것.
• 모형 오Specification 상황에서도 인과 추론이 가능하도록 스위칭 회귀 모델 간 동등성에 대한 통계적 검정을 개발하는 것.
• 원인 부모가 부분적으로 관측되지 않을 경우에도 渐近적 유의수준 제어를 유지하는 방법을 제공하는 것.
• 시뮬레이션과 실제 데이터 응용(잠재 상태를 통한 데이터 클러스터링 포함)을 통해 방법의 강건성과 실용성을 입증하는 것.

제안 방법

• 표준 불변성의 일반화로 h-불변성을 도입하며, 이는 은닉 변수 H에 조건부로 Y에 대한 X의 회귀 계수들이 환경 간에 일정하다는 가정을 포함한다.
• 각 H의 값에 대해 다른 계수를 가진 선형 스위칭 회귀 모델로 시스템을 모델링한다.
• 가우시안 노이즈가 있는 선형 스위칭 회귀 모델에서 최대우도추정기(MLE)의 존재성, 일致성 및 渐近 정규성을 위한 충분조건을 도출한다.
• 환경 간 스위칭 회귀 모델 간 동등성에 대한 최대우도 검정을 제안하여 渐近적 유의수준 제어를 보장한다.
• 예측변수의 부분집합에 대해 h-불변성을 검정하고 은닉 변수 구조 하에서 불변인 변수들을 선택하는 알고리즘(ICPH)을 개발한다.
• 고차원 설정에서의 확장성을 위해 변수 선별(예: Lasso를 통한)을 통합하고, 잠재 상태 수가 모른다거나 다수일 경우를 대비해 최대 p-값 전략을 활용한다.

실험 결과

연구 질문

• RQ1 이산로 관측되지 않는 혼란요인을 가진 설정으로 불변 원리를 확장할 수 있는가?
• RQ2 은닉 이산 상태가 있는 스위칭 회귀 모델에서 최대우도추정기의 존재 조건과 일치성은 어떤 조건에서 성립하는가?
• RQ3 환경 간 스위칭 회귀 모델을 비교할 수 있는 유효한 통계적 검정을 구성할 수 있는가?
• RQ4 원인 부모가 일부 관측되지 않을 경우, 제안된 방법이 인과 예측변수 선택에 대해 渐近적 유의수준 제어를 달성하는가?
• RQ5 유한 표본에서 h-불변성 가정 위반과 모형 오Specification에 대해 방법이 얼마나 강건한가?

주요 결과

• 가우시안 노이즈가 있는 선형 스위칭 회귀 모델에서 MLE는 온건한 정규성 조건 하에 일치성과 渐近 정규성을 보인다.
• 제안된 스위칭 회귀 모델 간 동등성에 대한 최대우도 검정은 渐近적 유의수준 제어를 달성하여 타당한 추론이 가능하다.
• ICPH는 h-불변성 가정 하에 원인 부모가 일부 관측되지 않을 경우에도 渐近적 유의수준 제어를 달성한다.
• 시뮬레이션에서 유의수준 제어를 유지하고 원인 예측변수(X¹ 및 X²)를 회복한다. 다만 잠재 상태 수가 증가할수록 검정력은 감소한다.
• h-불변성 가정의 경미한 위반에도 불구하고 ICPH는 강건하게 작동하며, 간섭으로 인해 계수에 약간의 변화가 생겨도 인과 변수를 성공적으로 식별한다.
• 고차원 설정에서는 ICPH에 Lasso 선별을 조합함으로써 성능을 유지하며, 많은 예측변수가 있는 경우에도 효과적인 인과 발견이 가능하다.