[论文解读] Causal Discovery and Forecasting in Nonstationary Environments with State-Space Models

Biwei Huang, Kun Zhang+2 more|PubMed|May 26, 2019

Data Stream Mining Techniques参考文献 9被引用 23

一句话总结

本文提出了一种非线性状态空间模型框架，利用非平稳性来识别因果结构并提升时间序列的预测性能。通过建模时变的因果强度和噪声方差，该方法实现了可识别的因果发现，并采用贝叶斯推断实现自适应、因果感知的预测，在合成数据和真实世界数据上均表现出优越性能。

ABSTRACT

In many scientific fields, such as economics and neuroscience, we are often faced with nonstationary time series, and concerned with both finding causal relations and forecasting the values of variables of interest, both of which are particularly challenging in such nonstationary environments. In this paper, we study causal discovery and forecasting for nonstationary time series. By exploiting a particular type of state-space model to represent the processes, we show that nonstationarity helps to identify causal structure and that forecasting naturally benefits from learned causal knowledge. Specifically, we allow changes in both causal strengths and noise variances in the nonlinear state-space models, which, interestingly, renders both the causal structure and model parameters identifiable. Given the causal model, we treat forecasting as a problem in Bayesian inference in the causal model, which exploits the timevarying property of the data and adapts to new observations in a principled manner. Experimental results on synthetic and real-world data sets demonstrate the efficacy of the proposed methods.

研究动机与目标

• 解决在传统独立同分布（i.i.d.）或平稳性假设不成立的非平稳时间序列中，因果发现与预测的挑战。
• 利用非平稳性作为不对称性的来源，以识别因果方向，克服现有函数因果模型的局限性。
• 开发一种基于因果结构的系统性预测方法，以提升预测精度与可解释性。
• 通过允许非线性状态空间模型中的时变因果强度和噪声方差，确保模型的可识别性。
• 通过SCAD惩罚项引入稀疏性约束，以实现稳定且可解释的因果结构学习。

提出的方法

• 该框架使用具有时变系数和噪声方差的非线性状态空间模型，以表示非平稳过程。
• 通过分布偏移中的统计不对称性（特别是非平稳条件下原因与机制分布的独立性）来识别因果结构。
• 通过在学习到的因果模型中进行贝叶斯推断实现预测，该方法可根据新观测和时变参数自适应更新。
• 采用EM算法进行参数估计，其中E步使用带有祖先抽样的条件粒子滤波进行状态推断。
• 通过平滑剪切绝对偏差（SCAD）惩罚项强制因果邻接矩阵的稀疏性，以促进稳定且可解释的因果图学习。
• 该方法联合估计时变因果参数与噪声方差，实现在统一框架下的因果发现与预测。

实验结果

研究问题

• RQ1 时间序列中的非平稳性是否可被利用，以识别在平稳或i.i.d.条件下原本不可识别的因果结构？
• RQ2 在具有时变机制的非线性、非平稳环境中，如何实现可识别的因果发现？
• RQ3 在非平稳时间序列中，引入因果结构在多大程度上能提升预测精度？
• RQ4 在因果状态空间模型中，贝叶斯推断能否有效适应新观测和时变动态？
• RQ5 如何在不引入偏差的情况下强制实现因果关系的稀疏性，以确保稳定且可解释的模型学习？

主要发现

• 通过在非线性状态空间模型中建模时变因果强度和噪声方差，所提出的方法实现了可识别的因果发现。
• 非平稳性通过原因与效应分布之间的统计不对称性，实现了因果方向的识别。
• 当利用学习到的因果结构时，预测性能显著提升，因为这降低了模型复杂度并增强了可解释性。
• 使用SCAD惩罚项实现稀疏性，相较于Lasso，能更稳定地估计因果邻接矩阵并减少偏差。
• 在合成数据和真实世界数据上的实证结果表明，与基线方法相比，该方法在因果发现和预测精度方面均表现出优越性能。
• 带有祖先抽样的条件粒子滤波有效支持了非线性、非平稳状态空间模型中的状态推断，从而保障了稳健的参数估计。