[논문 리뷰] Causal Inference by Identification of Vector Autoregressive Processes with Hidden Components

Philipp Geiger, Kun Zhang외 3명|arXiv (Cornell University)|2014. 11. 14.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 44

한 줄 요약

이 논문은 은닉 성분을 가진 벡터 자기회귀(VAR) 과정의 구조적 파라미터를 식별하여 시간 시리즈에 대한 새로운 인과 추론 방법을 제안한다. 비정규성 잡음 또는 관측된 변수에서 은닉 변수로의 影향이 없을 경우, 인과 행렬 B와 혼란 변수 효과 C가 관측 데이터로부터만 식별 가능하다는 것을 보여주며, 이는 표준 그랜저 방법보다 더 신뢰할 수 있는 인과 발견을 가능하게 한다.

ABSTRACT

A widely applied approach to causal inference from a non-experimental time series $X$, often referred to as "(linear) Granger causal analysis", is to regress present on past and interpret the regression matrix $\hat{B}$ causally. However, if there is an unmeasured time series $Z$ that influences $X$, then this approach can lead to wrong causal conclusions, i.e., distinct from those one would draw if one had additional information such as $Z$. In this paper we take a different approach: We assume that $X$ together with some hidden $Z$ forms a first order vector autoregressive (VAR) process with transition matrix $A$, and argue why it is more valid to interpret $A$ causally instead of $\hat{B}$. Then we examine under which conditions the most important parts of $A$ are identifiable or almost identifiable from only $X$. Essentially, sufficient conditions are (1) non-Gaussian, independent noise or (2) no influence from $X$ to $Z$. We present two estimation algorithms that are tailored towards conditions (1) and (2), respectively, and evaluate them on synthetic and real-world data. We discuss how to check the model using $X$.

연구 동기 및 목표

• 측정되지 않은 혼란 변수(Z)가 관측된 변수(X)에 영향을 주는 경우 표준 그랜저 인과성의 한계를 해결하기 위해.
• 은닉 성분이 있는 VAR 모델의 인과 구조가 관측된 X만으로 식별 가능한 조건을 설정하기 위해.
• 비정규성 잡음과 X에서 Z로의 영향이 없는 경우에 특화된 추정 알고리즘을 개발하여 실용적인 인과 추론을 가능하게 하기 위해.
• 관측된 시간 시리즈 X만을 사용하여 모델의 타당성을 점검할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 관측된 X와 은닉된 Z의 동시 역학을 i.i.d. 잡음이 있는 1차 VAR 과정으로 모델링하며, 전이 행렬 A에 대해 인과적 해석을 가정한다.
• 독립적이고 비정규성 잡음을 활용하여 B와 C를 스케일링과 순열을 제외한 정확도로 식별하며, 독립성과 비정규성을 이용해 구조적 식별을 수행한다.
• 알고리즘 1에서 혼합 정규분포 우도 모델을 적용하여 비정규성 잡음 가정 하에 유한 표본으로부터 B와 C를 추정한다.
• 알고리즘 2에서 X가 Z에 영향을 주지 않는 경우, 유사한 요울-워커 방정식계를 활용하여 B를 유한한 가능성을 가진 채로 추정한다.
• 카르만 필터링과 스무딩을 사용하여 은닉 상태의 사후 분포를 계산하고, 변분 EM을 통한 파라미터 추정을 가능하게 한다.
• EM 프레임워크 내에서 사후 기대값과 변분 하한을 활용해 파라미터(π, μ, σ², B, C, D, E)의 업데이트 규칙을 유도한다.

실험 결과

연구 질문

• RQ1 은닉 성분이 있는 VAR 모델에서 인과 행렬 B가 관측된 시간 시리즈 X만으로 언제 식별 가능한가?
• RQ2 잡음이 비정규성이고 상호 독립일 경우 혼란 변수 효과 C는 식별 가능한가?
• RQ3 X에서 Z로의 직접적 영향이 없더라도, 비록 정규성 잡음일지라도 인과 구조는 어떻게 복원할 수 있는가?
• RQ4 관측된 시간 시리즈 X만을 사용하여 모델 가정을 어느 정도 검증할 수 있는가?
• RQ5 제안된 알고리즘이 표준 그랜저 인과성에 비해 시뮬레이션 및 실세계 시간 시리즈 데이터에서 어떻게 성능을 발휘하는가?

주요 결과

• 정리 1은 비정규성 잡음과 독립성 조건 하에 일반성 가정 하에 관측된 X로부터 B가 유일하게 식별 가능하다고 보여준다.
• 정리 2는 동일한 비정규성 잡음 조건 하에 C의 열 중 최소 두 개 이상의 비영 성분을 가진 것들이 스케일링과 순열을 제외한 정확도로 식별 가능하다고 보여준다.
• 정리 3은 X가 Z에 영향을 주지 않는 경우, X의 공분산 구조로부터 B가 유한한 가능성을 가진 채로 식별 가능하다고 증명하며, 잡음 분포와 무관하다.
• 정리 1과 2는 필요한 일반성 가정이 매개변수 공간의 르베그 측도 0인 집합을 제외하므로 실용적으로 타당하다고 확인한다.
• 알고리즘 1은 혼합 정규분포 잡음 가정 하에 우도 모델을 최대화하여 B와 C를 성공적으로 추정한다. 비정규성 조건에서 효과적이다.
• 알고리즘 2는 X에서 Z로의 영향이 없는 조건 하에 요울-워커 방정식과 유사한 방정식계를 풀어 B를 유한한 해들 중에서 복원한다.