[论文解读] Data Generating Process to Evaluate Causal Discovery Techniques for Time Series Data

Andrew R. Lawrence, Marcus Kaiser+2 more|arXiv (Cornell University)|Apr 16, 2021

Bayesian Modeling and Causal Inference参考文献 37被引用 8

一句话总结

本文提出了一种灵活且开源的框架，用于生成具有已知真实因果结构的合成时间序列数据，以基准化和评估因果发现方法。结果表明，当违反假设条件时，尤其是存在非线性关系和瞬时效应时，主流方法的性能显著下降，并且对超参数选择极为敏感，因此呼吁未来研究应开发更鲁棒、非线性化且对超参数依赖性更低的方法。

ABSTRACT

Going beyond correlations, the understanding and identification of causal relationships in observational time series, an important subfield of Causal Discovery, poses a major challenge. The lack of access to a well-defined ground truth for real-world data creates the need to rely on synthetic data for the evaluation of these methods. Existing benchmarks are limited in their scope, as they either are restricted to a "static" selection of data sets, or do not allow for a granular assessment of the methods' performance when commonly made assumptions are violated. We propose a flexible and simple to use framework for generating time series data, which is aimed at developing, evaluating, and benchmarking time series causal discovery methods. In particular, the framework can be used to fine tune novel methods on vast amounts of data, without "overfitting" them to a benchmark, but rather so they perform well in real-world use cases. Using our framework, we evaluate prominent time series causal discovery methods and demonstrate a notable degradation in performance when their assumptions are invalidated and their sensitivity to choice of hyperparameters. Finally, we propose future research directions and how our framework can support both researchers and practitioners.

研究动机与目标

• 为解决由于真实世界数据缺乏真实因果关系，导致时间序列因果发现方法缺乏标准化、可扩展的基准测试问题。
• 克服现有基准测试的局限性，如静态设计、范围狭窄，或无法有效检验方法在假设违反条件下的鲁棒性。
• 使研究人员和实践者能够生成与特定领域知识一致的合成数据，以支持系统性方法开发与超参数调优。
• 在受控的、现实的场景下评估领先因果发现技术的性能，包括非线性动态、瞬时效应和非平稳性。
• 识别关键研究空白，如对超参数的过度依赖以及非线性建模能力有限，并为未来的方法论发展提供指导。

提出的方法

• 该框架使用可配置的因果图、函数形式和噪声分布的结构因果模型（SCMs）生成时间序列数据。
• 支持变量之间的线性和非线性函数关系，包括加法性、同方差性噪声，并允许用户自定义参数化。
• 该框架支持引入瞬时（同期）效应、滞后依赖关系以及结构变化，如状态转换和干预。
• 支持生成具有用户定义变量数量、时间步数和动态图结构的多元时间序列。
• 该框架以开源代码形式实现，并提供示例脚本，使用户能够针对特定用例自定义数据生成。
• 通过调整模型参数并测量F1、SHD和真正/假正类率等指标，实现对因果发现算法的系统性评估。

实验结果

研究问题

• RQ1 当关键假设（如线性关系、独立性、无瞬时效应）被违反时，主流时间序列因果发现方法的性能如何？
• RQ2 因果发现方法的性能在多大程度上对超参数选择敏感，特别是p值阈值和正则化参数？
• RQ3 PCMCI、PCMCI+、多变量格兰杰和DYNOTEARS等方法如何处理瞬时因果效应？其在精确率与召回率之间的权衡是什么？
• RQ4 所提出的框架能否有效区分不同方法在多样化数据生成过程下的鲁棒性与泛化能力？
• RQ5 PCMCI和DYNOTEARS等方法的最佳超参数配置是什么？这些配置如何影响F1和结构汉明距离（SHD）等性能指标？

主要发现

• 引入瞬时效应后，F1分数显著下降，SHD显著上升，尤其对无法建模零时滞依赖关系的多变量格兰杰方法影响更大。
• PCMCI+在处理瞬时效应方面优于PCMCI，因其显式建模了同期关联，尽管真正例率相似，但显著降低了假正例数量。
• PCMCI最终选择步骤中p值阈值的选择对性能具有决定性影响，最优结果出现在0.01；而PC算法的p值阈值影响甚微。
• 对于DYNOTEARS，最优性能在中等L1惩罚（0.5–1.0）和较小的w_threshold下实现，表明稀疏性与准确率之间存在权衡。
• 线性方法如多变量格兰杰在非线性环境下表现欠佳，符合预期，但该框架清晰揭示了其在假设违反条件下的失效模式。
• 该框架成功揭示了当前方法对超参数高度敏感，且在面对非线性关系和瞬时效应等现实数据挑战时缺乏鲁棒性。