[论文解读] Causal structure learning from time series: Large regression coefficients may predict causal links better in practice than small p-values

Sebastian Weichwald, Martin Emil Jakobsen+4 more|arXiv (Cornell University)|Feb 21, 2020

Bayesian Modeling and Causal Inference参考文献 20被引用 8

一句话总结

本文提出了一种简单但有效的方法，用于从时间序列中学习因果结构，通过使用原始回归系数而非p值进行边评分，其性能优于传统的基于p值的方法。该方法在非线性系统上应用线性模型，表明大回归系数比小p值更能可靠地预测因果关系，尤其是在数据保持其自然尺度时，这挑战了因果发现中常见的标准化实践。

ABSTRACT

In this article, we describe the algorithms for causal structure learning from time series data that won the Causality 4 Climate competition at the Conference on Neural Information Processing Systems 2019 (NeurIPS). We examine how our combination of established ideas achieves competitive performance on semi-realistic and realistic time series data exhibiting common challenges in real-world Earth sciences data. In particular, we discuss a) a rationale for leveraging linear methods to identify causal links in non-linear systems, b) a simulation-backed explanation as to why large regression coefficients may predict causal links better in practice than small p-values and thus why normalising the data may sometimes hinder causal structure learning. For benchmark usage, we detail the algorithms here and provide implementations at https://github.com/sweichwald/tidybench . We propose the presented competition-proven methods for baseline benchmark comparisons to guide the development of novel algorithms for structure learning from time series.

研究动机与目标

• 开发一种在真实世界和半真实气候数据上表现良好的稳健且计算高效的因果结构学习方法。
• 研究为何在实际因果发现任务中，传统基于p值的推断可能表现不如原始回归系数。
• 挑战数据标准化在因果结构学习中始终有益的假设，特别是在具有有意义自然尺度的系统中。
• 为未来时间序列因果发现研究提供一种实用、可解释且具有竞争力的基线方法。

提出的方法

• 该方法使用向量自回归模型来估计时间序列变量之间的回归系数。
• 边评分通过原始回归系数的绝对值（|b̂i→j|）计算，而非p值或t统计量。
• 该方法避免数据标准化，以保留自然尺度信息，这有助于判断因果方向。
• 通过模拟研究比较在不同边际方差下，回归系数与t统计量在预测因果关系方面的表现。
• 在Causality 4 Climate竞赛数据集上验证该方法，并将其集成到CauseMe.net基准平台中。
• 该框架已实现为一个轻量级开源包，可在github.com/sweichwald/tidybench获取。

实验结果

研究问题

• RQ1 为何在真实世界时间序列数据中，大回归系数比小p值更有效地预测因果关系？
• RQ2 在何种情况下数据标准化会降低因果发现方法的性能？
• RQ3 线性模型能否在地球科学中常见的非线性动力系统中有效识别因果结构？
• RQ4 时间序列变量的自然尺度在多大程度上影响回归系数作为因果指标的可靠性？
• RQ5 边际方差与残差方差在多大程度上影响基于系数与基于p值的边评分的相对性能？

主要发现

• 当数据保持其自然尺度时，原始回归系数（|b̂i→j|）在预测因果关系方面优于p值和t统计量，尤其是在边际方差自然增加的情况下。
• 在误差方差相等的模拟中，由于t统计量在早期有序变量中发生收缩，回归系数的AUC（ROC曲线下面积）高于t统计量。
• 当人为强制使边际方差相等时，回归系数与t统计量的性能变得相当，证实方差缩放是性能差异的关键驱动因素。
• 在边际方差递减的情境下，t统计量优于回归系数，表明相对性能关键取决于数据的方差结构。
• 当变量具有有意义的自然尺度时，标准化可能在因果发现中适得其反，因为它会移除与因果排序相关的方差信息。
• 所提出的方法在NeurIPS 2019 Causality 4 Climate竞赛的全部34个挑战中均表现出具有竞争力的性能，并在CauseMe.net基准平台的混合数据和真实数据类别中排名第一。