[論文レビュー] A Graph Autoencoder Approach to Causal Structure Learning

Ignavier Ng, Shengyu Zhu+2 more|arXiv (Cornell University)|Nov 18, 2019

Bayesian Modeling and Causal Inference参考文献 17被引用数 54

ひとこと要約

非線形のSEMとベクトル値変数を扱う因果構造学習のためのグラフオートエンコーダ(GAE)に基づく勾配法を導入し、以前の勾配ベース手法と比較して大規模グラフで性能が向上し、ほぼリニアな学習時間を示す。

ABSTRACT

Causal structure learning has been a challenging task in the past decades and several mainstream approaches such as constraint- and score-based methods have been studied with theoretical guarantees. Recently, a new approach has transformed the combinatorial structure learning problem into a continuous one and then solved it using gradient-based optimization methods. Following the recent state-of-the-arts, we propose a new gradient-based method to learn causal structures from observational data. The proposed method generalizes the recent gradient-based methods to a graph autoencoder framework that allows nonlinear structural equation models and is easily applicable to vector-valued variables. We demonstrate that on synthetic datasets, our proposed method outperforms other gradient-based methods significantly, especially on large causal graphs. We further investigate the scalability and efficiency of our method, and observe a near linear training time when scaling up the graph size.

研究の動機と目的

• 観測データからのスケーラブルな因果構造学習の必要性を動機づける。
• 非線形関係のために勾配ベースの構造学習をグラフオートエンコーダフレームワークへ一般化する。
• 連続最適化設定内でベクトル値変数の取り扱いを可能にする。
• 合成データセット上でのスケーラビリティと効率性の利点を実証する。
• 最先端の勾配ベース手法と性能を比較する。

提案手法

• 因果構造学習をエンコーダg1とデコーダg2を備えたグラフオートエンコーダとして、線形メッセージ伝播 A^T H^(j) を用いて定式化する。
• 非線形関係をモデル化するために f(X^(j),A)=g2(A^T g1(X^(j))) を用い、変数間で重みを共有する。
• 再構成誤差を最小化しつつ A に L1 ペナルティを課す: min_{A,Θ1,Θ2} 1/2n ∑_j ||X^(j) - X_hat^(j)||^2_F + λ||A||_1。
• 平滑制約 tr(exp(A ⊙ A)) - d = 0 によって有向無サイクル性を課し、拡張ラグランジュ法で解く。
• 重みを共有した g1 および g2 の2つのMLPを用い、勾配ベースの最適化（Adam）で更新する。
• スカラー値およびベクトル値変数を持つ合成データで NOTEARS および DAG-GNN と比較し、SHD と TPR を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフオートエンコーダフレームワークは、非線形の因果関係をモデリングし、因果構造学習でベクトル値変数をサポートできるか？
• RQ2 GAE ベースのアプローチは、最先端の勾配ベース手法（NOTEARS、DAG-GNN）より合成データで精度を改善し、大規模グラフで特に効果を発揮するか？
• RQ3 グラフサイズが増加するにつれて、提案手法のスケーラビリティと学習時間の特性はどうなるか？
• RQ4 スカラー値とベクトル値変数設定の下での手法の性能はどうなるか？

主な発見

• GAE は合成データセットで NOTEARS および DAG-GNN を上回り、特に大規模グラフで優れる。
• 本手法はノード数を100にスケールさせた場合、ほぼリニアな学習時間を達成する。
• スカラー値の場合、テストしたグラフサイズと非線形データ生成モデル全体で SHD が低く、TPR が高い。
• ベクトル値ケース（l=5、潜在次元 l′=3）では、グラフサイズが大きくなるほど SHD と TPR が改善。
• 実験では DAG-GNN はこれらのデータセットでスケールが劣る可能性があり、一方 NOTEARS はいくつかの設定で競争力を示す。
• GPUでの実験では、GAE の学習時間は DAG-GNN と比較して高速なままである。