[论文解读] Sparse Causal Discovery in Multivariate Time Series

Stefan Haufe, Guido Nolte+2 more|arXiv (Cornell University)|Jan 15, 2009

Bayesian Modeling and Causal Inference参考文献 18被引用 23

一句话总结

本文提出了一种基于组套索（group lasso）的方法，用于使用向量自回归（VAR）模型在多变量时间序列中进行稀疏因果发现，通过对每对时间序列的所有时滞联合施加稀疏性，以更好地反映因果关系的缺失。该方法在恢复真实因果图方面优于标准方法（如套索和格兰杰因果关系），尤其是在存在噪声的情况下，组套索在模拟场景中表现出更优的性能。

ABSTRACT

Our goal is to estimate causal interactions in multivariate time series. Using vector autoregressive (VAR) models, these can be defined based on non-vanishing coefficients belonging to respective time-lagged instances. As in most cases a parsimonious causality structure is assumed, a promising approach to causal discovery consists in fitting VAR models with an additional sparsity-promoting regularization. Along this line we here propose that sparsity should be enforced for the subgroups of coefficients that belong to each pair of time series, as the absence of a causal relation requires the coefficients for all time-lags to become jointly zero. Such behavior can be achieved by means of l1-l2-norm regularized regression, for which an efficient active set solver has been proposed recently. Our method is shown to outperform standard methods in recovering simulated causality graphs. The results are on par with a second novel approach which uses multiple statistical testing.

研究动机与目标

• 解决标准方法在恢复多变量时间序列中稀疏因果结构方面的局限性。
• 通过在每对时间序列的所有时滞上强制实施组稀疏性，提高因果发现的准确性。
• 将组套索与传统套索、格兰杰因果关系以及结合多重检验的岭回归进行性能比较。
• 在不同噪声条件和模型阶数假设下评估方法的鲁棒性。
• 通过高效的优化和稀疏性强制，实现在高维时间序列（如fMRI数据）中的可扩展因果推断。

提出的方法

• 使用P阶向量自回归（VAR）模型来表示多变量时间序列中的线性动态。
• 应用ℓ1,2-范数正则化（组套索）以强制每对时间序列的所有时滞系数的联合稀疏性。
• 采用活动集求解器，高效优化VAR系数估计中的组套索问题。
• 作为补充方法，先应用岭回归，再使用Hothorn等人（2008）提出的方法进行多重假设检验。
• 使用10折交叉验证，基于预测精度选择套索和组套索的正则化参数。
• 采用ROC曲线分析和AUC评分，评估不同噪声水平和模型阶数下的性能表现。

实验结果

研究问题

• RQ1 与标准套索相比，基于组套索的正则化是否能改善多变量时间序列中的因果结构恢复？
• RQ2 在每对时间序列的所有时滞上强制联合稀疏性，是否能更准确地反映因果影响的真正缺失？
• RQ3 在不同噪声条件下，组套索的性能与格兰杰因果关系、岭回归和套索相比如何？
• RQ4 了解真实模型阶数是否能显著提高因果发现的准确性？
• RQ5 通过问题分解和高效求解器，该方法能否在大规模时间序列（如fMRI数据）中实现可扩展性？

主要发现

• 在所有模拟噪声条件下，组套索均优于套索，AUC评分显著更高（例如，在白噪声条件下P=5时，组套索为0.971，套索为0.941）。
• 在无噪声条件下，结合多重检验的岭回归实现了近乎完美的性能（AUC=1.000），优于所有其他方法。
• 在白噪声条件下，组套索在P=5时AUC为0.971，在P=10时为0.979，显著优于套索和格兰杰因果关系。
• 在混合噪声条件下，组套索与岭回归表现相当，AUC分别为0.926（P=5）和0.931（P=5）。
• ROC曲线显示，套索始终表现弱于组套索，表明其生成的因果图更密集且准确性更低。
• 了解真实模型阶数并未带来显著性能优势，表明这些方法对模型阶数误设具有鲁棒性。