[論文レビュー] Amortized Causal Discovery: Learning to Infer Causal Graphs from Time-Series Data

Sindy Löwe, David Madras+2 more|arXiv (Cornell University)|Jun 18, 2020

Bayesian Modeling and Causal Inference参考文献 58被引用数 70

ひとこと要約

Amortized Causal Discovery (ACD) を提案する、共有ダイナミクスを持つ時系列全体で因果グラフを推測する変分法の二部モデルであり、ノイズや潜在的混乱因子がある場合でも因果推定を改善する。

ABSTRACT

On time-series data, most causal discovery methods fit a new model whenever they encounter samples from a new underlying causal graph. However, these samples often share relevant information which is lost when following this approach. Specifically, different samples may share the dynamics which describe the effects of their causal relations. We propose Amortized Causal Discovery, a novel framework that leverages such shared dynamics to learn to infer causal relations from time-series data. This enables us to train a single, amortized model that infers causal relations across samples with different underlying causal graphs, and thus leverages the shared dynamics information. We demonstrate experimentally that this approach, implemented as a variational model, leads to significant improvements in causal discovery performance, and show how it can be extended to perform well under added noise and hidden confounding.

研究の動機と目的

• 共有ダイナミクスを持つ異なる基盤グラフを持つ時系列全体での因果推定の動機づけ。
• グラフ推定とダイナミクスモデリングを分離するアモルタイズド（アモルタイズされた）エンコーダ-デコーダフレームワークの導入。
• サンプル間の学習を可能にする確率的（変分）実装の開発。
• 潜在表現を介してノイズや潜在的混乱因子への頑健性を強化。
• 多様なデータセットで従来手法に対するスケーラビリティと性能向上を実証。

提案手法

• 二部構成のモデル: アモルタイズドエンコーダ f_phi は時系列 x に対して因果グラフ G を予測し、デコーダ f_theta は x と G に基づく系のダイナミクスをモデリングする。
• x^{t+1} ≈ g(x^{≤t}, G) + ε, ここで G は時間を通じて不変だがサンプルごとに固有。
• 変分目的関数 L = E_{q_phi(z|x)}[log p_theta(x|z)] - KL[q_phi(z|x) || p(z)],、ここで z は G のエッジを符号化。
• エンコーダはグラフニューラルネットワークを用いてエッジタイプの分布を生成し、微分可能性のために Gumbel-softmax を適用。
• デコーダは予測されたエッジに沿ってメッセージを伝搬し、自己ループを組み込みつつニューラル関数で次ステップの値を予測。
• エッジなしタイプを含め、Granger 因果性を反映（エッジがない場合は影響なし）。
• テスト時適応（TTA）は、低データ時の性能向上のためにテスト時に予測グラフを refine 可能。
• 潜在的混乱因子への拡張としてエンコーダに潜在変数を導入し、観測されない影響をモデル化して頑健性を向上。

実験結果

リサーチクエスチョン

• RQ1 異なる基盤因果グラフを持つサンプル間で共有ダイナミクスモデルを学習できるか？
• RQ2 グラフ予測とダイナミクスモデリングの分離はデータセット間のGranger因果推定を改善するか？
• RQ3 観測ノイズや潜在的混乱因子の下でACDの性能はどうなるか？
• RQ4 テスト時適応と潜在混乱因子は頑健性と精度を高めるか？
• RQ5 ACDは標準の単一グラフ因果発見および多グラフシナリオに適用可能か？

主な発見

Dataset	Method	AUROC
Kuramoto	MPIR (Wu et al., 2020)	0.502 ± 0.006
Kuramoto	Transfer Entropy (Schreiber, 2000)	0.560 ± 0.005
Kuramoto	NGC (Tank et al., 2018)	0.574 ± 0.018
Kuramoto	eSRU (Khanna & Tan, 2019)	0.607 ± 0.001
Kuramoto	Mutual Information	0.616 ± 0.000
Kuramoto	Linear Granger Causality	0.647 ± 0.003
Kuramoto	Amortized Causal Discovery	0.952 ± 0.003
Netsim	MPIR (Wu et al., 2020)	0.484 ± 0.017
Netsim	Transfer Entropy (Schreiber, 2000)	0.543 ± 0.003
Netsim	NGC (Tank et al., 2018)	0.624 ± 0.020
Netsim	eSRU (Khanna & Tan, 2019)	0.670 ± 0.015
Netsim	Mutual Information	0.728 ± 0.002
Netsim	Linear Granger Causality	0.503 ± 0.004
Netsim	Amortized Causal Discovery	0.688 ± 0.051

• ACDは複数のデータセット（例: Kuramoto, Netsim）でAUROCの点でベースラインの因果発見法を大幅に上回る。
• Kuramoto では Amortized Causal Discovery が AUROC 0.952 を達成し、全てのベースラインを上回る。
• Netsim では Amortized Causal Discovery が AUROC 0.688 を達成し、いくつかのベースラインと競合、または上回る。
• ACD のエンコーダベース予測は訓練データが増えると改善し、テスト時適応は低データ領域で強い性能を発揮。
• ACD は追加の観測ノイズに対して頑健で、ノイズの増加に伴いAUROCは緩やかに低下。
• 潜在変数を用いた隠れ混乱因子への拡張は、観測されない温度や時系列の実験でエッジ回復と予測性能を改善。