[论文解读] Amortized Causal Discovery: Learning to Infer Causal Graphs from Time-Series Data

Sindy Löwe, David Madras+2 more|arXiv (Cornell University)|Jun 18, 2020

Bayesian Modeling and Causal Inference参考文献 58被引用 70

一句话总结

提出 Amortized Causal Discovery (ACD)，一个变分的两部分模型，学习在具有共享动态的时间序列中推断因果图，即使在噪声和隐藏共扰情况下也能改进因果发现。

ABSTRACT

On time-series data, most causal discovery methods fit a new model whenever they encounter samples from a new underlying causal graph. However, these samples often share relevant information which is lost when following this approach. Specifically, different samples may share the dynamics which describe the effects of their causal relations. We propose Amortized Causal Discovery, a novel framework that leverages such shared dynamics to learn to infer causal relations from time-series data. This enables us to train a single, amortized model that infers causal relations across samples with different underlying causal graphs, and thus leverages the shared dynamics information. We demonstrate experimentally that this approach, implemented as a variational model, leads to significant improvements in causal discovery performance, and show how it can be extended to perform well under added noise and hidden confounding.

研究动机与目标

• 在具有不同底层图但共享动态的时间序列上激发因果发现。
• 引入一个分离图预测与动力学建模的 amortized 编码器-解码器框架。
• 开发一个使跨样本学习成为可能的概率（变分）实现。
• 通过潜在表征增强对噪声和隐藏共扰的鲁棒性。
• 展示相较于现有方法在多样数据集上的可扩展性和性能提升。

提出的方法

• 两部分模型：一个 amortized 编码器 f_phi 预测时间序列 x 的因果图 G，解码器 f_theta 基于 x 和 G 建模系统动态。
• 形式化为 x^{t+1} ≈ g(x^{≤t}, G) + ε，其中 G 在时间上不变但在样本之间是特定的。
• 变分目标 L = E_{q_phi(z|x)}[log p_theta(x|z)] - KL[q_phi(z|x) || p(z)]，其中 z 编码 G 的边。
• 编码器使用图神经网络产生边类型的分布，并应用 Gumbel-softmax 以实现可微分。
• 解码器沿预测边传播信息，并通过一个神经函数预测下一步值，包含自环。
• 不含边类型以镜像 Granger 因果（无边即无影响）。
• 测试时自适应（TTA）允许在测试时对预测图进行 refined，以在数据较少的情形下获得更好表现。
• 通过在编码器中引入潜在变量以建模未观测的影响，扩展到隐藏混淆，从而提高鲁棒性。

实验结果

研究问题

• RQ1 我们能否在底层因果图不同但存在共享动力学的样本之间学习一个共享的动力学模型？
• RQ2 将图预测与动力学建模解耦是否能在跨数据集的 Granger 因果发现中带来改进？
• RQ3 ACD 在观测噪声和隐藏混淆下的表现如何？
• RQ4 测试时自适应和潜在混淆源是否能提升鲁棒性和准确性？
• RQ5 ACD 是否适用于标准单图因果发现以及多图场景？

主要发现

• ACD 在多个数据集（如 Kuramoto、Netsim）的 AUROC 上显著优于基线因果发现方法。
• 在 Kuramoto 上，Amortized Causal Discovery 实现 AUROC 0.952，优于所有列出的基线。
• 在 Netsim 上，Amortized Causal Discovery 实现 AUROC 0.688，具有竞争力或超越若干基线。
• ACD 的基于编码器的预测在训练数据越多时越好，测试时自适应在低数据情形下也能带来强劲表现。
• ACD 对增加的观测噪声仍具鲁棒性，随着噪声增加 AUROC 呈现可控衰减。
• 用于隐藏混淆的潜变量扩展在未观测温度或时间序列的实验中提升边缘恢复与预测性能。