[論文レビュー] CUTS: Neural Causal Discovery from Irregular Time-Series Data

Yuxiao Cheng, Runzhao Yang+5 more|arXiv (Cornell University)|Feb 15, 2023

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

CUTSは不規則な時系列データを同時に補完し、反復的な二段階フレームワーク（データ補完のためのDSGNNと疎結合非線形Granger因果グラフ適合）を介してGranger因果グラフを発見します。VAR、Lorenz-96、NetSimデータセット全体でベースラインより優れた性能を達成します。

ABSTRACT

Causal discovery from time-series data has been a central task in machine learning. Recently, Granger causality inference is gaining momentum due to its good explainability and high compatibility with emerging deep neural networks. However, most existing methods assume structured input data and degenerate greatly when encountering data with randomly missing entries or non-uniform sampling frequencies, which hampers their applications in real scenarios. To address this issue, here we present CUTS, a neural Granger causal discovery algorithm to jointly impute unobserved data points and build causal graphs, via plugging in two mutually boosting modules in an iterative framework: (i) Latent data prediction stage: designs a Delayed Supervision Graph Neural Network (DSGNN) to hallucinate and register unstructured data which might be of high dimension and with complex distribution; (ii) Causal graph fitting stage: builds a causal adjacency matrix with imputed data under sparse penalty. Experiments show that CUTS effectively infers causal graphs from unstructured time-series data, with significantly superior performance to existing methods. Our approach constitutes a promising step towards applying causal discovery to real applications with non-ideal observations.

研究の動機と目的

• 欠損と非一様サンプリングが既存手法を妨げる不規則な時系列データから因果推定を動機づける。
• 両方のタスクを高めるために、欠損データを同時に補完し因果グラフを推定する反復フレームワークを提案する。
• 不規則データを補完するためのDelayed Supervision Graph Neural Network (DSGNN)を開発する。
• 時系列のラグ間の因果関係をモデル化し正則化するためのCausal Probability Graphs (CPGs)を導入する。
• 妥当な仮定の下で収束性を証明し、データセット間での頑健性を示す。

提案手法

• CUTSを導入し、潜在データ予測（DSGNNは歴史データと発見されたCPGsを用いて欠損値を補完）と因果グラフ発見（sigmoid-パラメータ化モデルを介して疎なエッジ確率 m_{tau,ij} を学習）を交互に行う。
• DSGNNはSからサンプルされたCPGsを用いてマスク入力を含むXから x_hat_{t,i}を補完し、Delayed supervision機構で補完値を更新する。
• 因果グラフ段階は L_graph = L_pred + lambda ||sigma(theta)||_1 を最小化し、因果確率行列 M_tau の疎性を促進する。
• 発見された因果グラフ tilde{A} はラグの最大値として定義される： tilde{a}_{i,j} = max_tau m_{tau,ij}、Granger因果影響を反映する。
• 収束と頑健性を確保するため、段階的エポック（補完なし、次に監視なしの補完、最後に教師あり微調整）を備えた二段階学習戦略。

実験結果

リサーチクエスチョン

• RQ1 データが断続的に欠損しているまたは非一様にサンプリングされている場合、因果グラフを信頼性高く推定できるか？
• RQ2 欠損データの同時補完と因果グラフの学習を反復的フレームワークで行うことは、欠損データの逐次補完と因果発見を組み合わせた従来手法より優れているか？
• RQ3 提案手法 CUTS のフレームワークが真のGranger因果構造へ収束する条件はどのようなものか？
• RQ4 ランダム欠損および周期欠損を含む合成データ（VAR、Lorenz-96）と実データ様の(NetSim) データセットで CUTS の性能はどうか？

主な発見

• CUTSは Random Missing（p up to 0.6）および Periodic Missing（T_max up to 4）の設定の下で VAR および Lorenz-96 データセット全般でベースラインより優れた AUROC を達成します（例: Lorenz-96 の Random Missing: CUTS 0.9996 ± 0.0005 対 competitors ~0.98–0.99; Lorenz-96 の Periodic Missing: CUTS 0.9705 ± 0.0118 対 competitors ~0.66–0.92）。
• On VAR data, CUTS attains AUROC values up to 0.9992 ± 0.0016（Periodic Missing, T_max=2） and 0.9959 ± 0.0042（Periodic Missing, T_max=4）に達し、PCMCI, NGC, eSRU のベースラインをさまざまな補完で上回る。
• On NetSim brain datasets, CUTS achieves AUROC 0.7948 ± 0.0381 for Random Missing and 0.7699 ± 0.0550 for Random Missing (NetSim with Random Missing, p=0.2) versus baseline methods around 0.58–0.76 range.
• Ablation studies show that both data imputation and causal discovery phases contribute to performance, and removing either (or using external imputation baselines) degrades AUROC.
• Finetuning stage further improves performance, with No Finetuning showing measurable drops in AUROC across experiments.
• Across datasets, CUTS consistently outperforms LCCM and NGM, which do not require data imputation, and outperforms neural Granger baselines with component-wise modules.