[논문 리뷰] Causal Discovery and Forecasting in Nonstationary Environments with State-Space Models

Biwei Huang, Kun Zhang외 2명|PubMed|2019. 05. 26.

Data Stream Mining Techniques참고 문헌 9인용 수 23

한 줄 요약

이 논문은 비정상성(nonstationarity)을 활용하여 인과적 구조를 규명하고 시계열에서 예측 성능을 향상시키는 비선형 상태공간 모델 프레임워크를 제안한다. 시간에 따라 변화하는 인과 강도와 잡음 분산을 모델링함으로써, 식별 가능한 인과 발견과 적응형, 인과 인지 예측을 가능하게 하며, 합성 및 실세계 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

In many scientific fields, such as economics and neuroscience, we are often faced with nonstationary time series, and concerned with both finding causal relations and forecasting the values of variables of interest, both of which are particularly challenging in such nonstationary environments. In this paper, we study causal discovery and forecasting for nonstationary time series. By exploiting a particular type of state-space model to represent the processes, we show that nonstationarity helps to identify causal structure and that forecasting naturally benefits from learned causal knowledge. Specifically, we allow changes in both causal strengths and noise variances in the nonlinear state-space models, which, interestingly, renders both the causal structure and model parameters identifiable. Given the causal model, we treat forecasting as a problem in Bayesian inference in the causal model, which exploits the timevarying property of the data and adapts to new observations in a principled manner. Experimental results on synthetic and real-world data sets demonstrate the efficacy of the proposed methods.

연구 동기 및 목표

• 기존의 i.i.d. 또는 정상성 가정이 실패하는 비정상 시계열에서의 인과 발견 및 예측 문제에 대응하기 위해.
• 기존 기능적 인과 모델의 한계를 극복하기 위해 비정상성을 비대칭성의 원천으로 활용하여 인과 방향을 규명하기 위해.
• 학습된 인과 구조를 활용하여 정확도와 해석 가능성이 향상된 원칙적인 예측 방법을 개발하기 위해.
• 비선형 상태공간 모델에서 시간에 따라 변화하는 인과 강도와 잡음 분산을 允허함으로써 모델의 식별성 확보를 위해.
• 안정적이고 해석 가능한 인과 구조 학습을 위해 SCAD 페널티를 통해 희박성 제약을 도입하기 위해.

제안 방법

• 비정상 과정을 표현하기 위해 시간에 따라 변화하는 계수와 잡음 분산을 갖는 비선형 상태공간 모델을 사용하는 프레임워크.
• 비정상성 하에서 원인과 영향의 분포 간의 통계적 비대칭성에 기반해 인과 구조를 식별함 — 특히 비정상성 하에서 원인과 기작 분포의 통합성.
• 학습된 인과 모델에서 베이지안 추론을 통해 예측을 수행하며, 이는 새로운 관측치와 시간에 따라 변화하는 파rameter에 따라 적응적으로 업데이트됨.
• 매개변수 추정을 위해 EM 알고리즘을 사용하며, E단계에서는 상태 추론을 위해 조건부 입자 필터와 조상 샘플링을 활용함.
• 희박성 제약을 위해 유연하게 잘라낸 절대편차(Smoothly Clipped Absolute Deviation, SCAD) 페널티를 사용하여 인과 인접행렬의 희박성을 강제함.
• 시간에 따라 변화하는 인과 매개변수와 잡음 분산을 동시에 추정함으로써, 통합된 프레임워크 내에서 인과 발견과 예측을 동시에 수행함.

실험 결과

연구 질문

• RQ1 비정상 시계열에서 비정상성은 기존 정상성 또는 i.i.d. 설정에서 식별이 어려운 인과 구조를 규명하는 데 활용될 수 있는가?
• RQ2 시간에 따라 변화하는 기작을 갖는 비선형 비정상 환경에서 어떻게 인과 발견을 식별 가능하게 할 수 있는가?
• RQ3 비정상 시계열에서 인과 구조를 통합할 경우 예측 정확도는 어느 정도 향상되는가?
• RQ4 인과 상태공간 모델에서의 베이지안 추론은 새로운 관측치와 시간에 따라 변화하는 역학에 효과적으로 적응할 수 있는가?
• RQ5 편향 없이 인과 관계의 희박성을 어떻게 강제할 수 있으며, 안정적이고 해석 가능한 모델 학습을 보장할 수 있는가?

주요 결과

• 비선형 상태공간 모델에서 시간에 따라 변화하는 인과 강도와 잡음 분산을 모델링함으로써 제안된 방법은 식별 가능한 인과 발견을 달성한다.
• 비정상성은 원인과 영향 분포 간의 통계적 비대칭성을 통해 인과 방향을 규명하는 데 기여한다.
• 학습된 인과 구조를 활용할 경우 모델 복잡도를 감소시키고 해석 가능성을 높임으로써 예측 성능이 크게 향상된다.
• SCAD 페널티를 사용함으로써 인과 인접행렬의 추정이 라소보다 편향이 감소한 안정적인 추정을 가능하게 한다.
• 합성 및 실세계 데이터셋에 대한 실증 결과는 기준 방법 대비 인과 발견 및 예측 정확도에서 뛰어난 성능을 보였다.
• 조상 샘플링을 갖춘 조건부 입자 필터는 비선형 비정상 상태공간 모델에서 효과적인 상태 추론을 가능하게 하여 안정적인 매개변수 추정을 지원한다.