[논문 리뷰] Detecting non-causal artifacts in multivariate linear regression models

Dominik Janzing, Bernhard Schoelkopf|arXiv (Cornell University)|2018. 03. 02.

Blind Source Separation Techniques참고 문헌 7인용 수 10

한 줄 요약

이 논문은 다변량 선형 회귀 모델에서 교란요인 또는 과적합으로 인한 비인과적 영향을 탐지하기 위한 통계적 검정을 제안한다. 교란요인은 ICA 기반 프레임워크로 모델링되며, 교란요인과 과적합이 모두 예측자 공분산 행렬의 고유값이 낮은 방향과 회귀계수들이 정렬됨을 보여주어 고유구조 분석을 통해 탐지 가능하다.

ABSTRACT

We consider linear models where $d$ potential causes $X_1,...,X_d$ are correlated with one target quantity $Y$ and propose a method to infer whether the association is causal or whether it is an artifact caused by overfitting or hidden common causes. We employ the idea that in the former case the vector of regression coefficients has 'generic' orientation relative to the covariance matrix $Σ_{XX}$ of $X$. Using an ICA based model for confounding, we show that both confounding and overfitting yield regression vectors that concentrate mainly in the space of low eigenvalues of $Σ_{XX}$.

연구 동기 및 목표

• 교란요인 또는 과적합으로 인해 결과가 왜곡될 수 있는 다변량 선형 회귀에서 인과관계와 비인과관계를 구분하는 데 도전하는 것.
• 이전의 스칼라 교란요인 탐지 기법을 다변량 교란요인으로 확장하여 더 넓은 적용 가능성을 확보하는 것.
• 관측된 예측자와 목표변수 간의 연관성이 인과적 영향, 교란요인, 또는 과적합으로 인한 것인지 식별하는 통계적 검정을 개발하는 것.
• 교란요인과 과적합이 예측자 공분산 행렬에 대한 회귀계수 방향에 미치는 영향에서 구조적 유사성을 드러내는 것.
• 비일반적인 계수 방향이 비인과적 의존성을 시사한다는 점에 기반한 일반성 원칙에 기반한 방법을 제공하는 것.

제안 방법

• 다양한 비상관성 소스들이 혼합 행렬과 벡터를 통해 예측자 $\mathbf{X}$와 목표변수 $Y$에 영향을 주는 다변량 ICA 유사 프레임워크를 사용해 교란요인을 모델링한다.
• 교란요인 모델 하에서 회귀계수의 분포를 유도하며, 이들이 예측자 공분산 행렬 $\Sigma_{XX}$의 낮은 고유값 부분공간에 집중됨을 보여준다.
• 좌표변환과 자코비안 분석을 적용하여 회귀계수 방향의 확률밀도를 유도하고, 이를 $\Sigma_{XX}$의 고유구조와 연결한다.
• 교란요인이 없을 경우의 일반적인 방향에 비해 관측된 회귀계수 방향을 비교하는 기반으로 통계적 검정을 제안한다.
• 교란요인과 과적합이 모두 $\Sigma_{XX}$의 낮은 고유값 방향과 일치하는 계수 벡터를 유도하므로, 이를 동시에 탐지할 수 있음을 활용한다.
• 직교 투영과 탄성공간 사상의 기하학적 추론을 사용해 모델 하에서 계수 방향의 밀도를 특성화한다.

실험 결과

연구 질문

• RQ1 다변량 선형 모델의 회귀계수 방향이 진정한 인과적 영향이 아닌 교란요인 또는 과적합으로 인한 것인지 탐지할 수 있는가?
• RQ2 인과관계, 교란요인, 과적합의 경우에 따라 회귀계수 벡터의 방향이 $\Sigma_{XX}$의 고유구조에 대해 어떻게 다를까?
• RQ3 다변량 교란요인 모델은 이전의 스칼라 교란요인 접근법보다 더 단순하고 강건한 탐지 방법을 가능하게 하는가?
• RQ4 교란요인 하에서 $\mathbf{X}$의 주변분포와 조건부분포 $P_{Y|\mathbf{X}}$ 사이의 통계적 관계는 무엇이며, 이를 탐지에 어떻게 활용할 수 있는가?
• RQ5 교란요인과 과적합을 동시에 탐지할 수 있는 동일한 기하학적 패턴이 존재하는가? 이는 통합 원칙을 시사하는가?

주요 결과

• 교란요인과 과적합이 모두 예측자 공분산 행렬 $\Sigma_{XX}$의 낮은 고유값 부분공간에 계수 벡터가 집중됨을 보여주어, 이 관점에서 통계적으로 구분이 불가능하다.
• 이 방법은 $\Sigma_{XX}$에 대한 비일반적인 계수 벡터 방향을 식별함으로써 비인과적 영향을 탐지하며, 비일반성은 모델의 ICA 기반 교란요인 구조에 의해 정의된다.
• 교란요인 모델 하에서 회귀계수 방향의 확률밀도를 분석적으로 유도하였으며, 이는 $A^{-1}\tilde{v}$의 노름의 역수에 의존함을 보여준다. 여기서 $A$는 혼합 행렬이다.
• 정규화와 교란요인 보정 사이에 공식적인 연결 고리를 설정하여, $P_{\mathbf{X}}$와 $P_{Y|\mathbf{X}}$가 상호독립일 경우 더 잘 일반화될 수 있음을 시사한다.
• 유도된 검정은 모델 가정에 대해 강건하며, 관측된 연관성이 인과적인지 영향인지 평가하는 원칙적인 방법을 제공한다.
• 이론적 프레임워크는 이전 연구를 확장하여 다변량 교란요인을 허용함으로써 고차원 환경에서 더 현실적이고 일반화 가능한 인과추론을 가능하게 한다.