[論文レビュー] DAG-GNN: DAG Structure Learning with Graph Neural Networks

Yue Yu, Jie Chen+2 more|arXiv (Cornell University)|Apr 22, 2019

Computational Drug Discovery Methods被引用数 130

ひとこと要約

DAG-GNN はグラフニューラルネットワークと変分自動エンコーダを用いて DAG 構造を学習する深層生成モデルで、連続/離散およびベクトル値変数を扱い、実用的な非循環性制約と augmented Lagrangian 学習を適用する。

ABSTRACT

Learning a faithful directed acyclic graph (DAG) from samples of a joint distribution is a challenging combinatorial problem, owing to the intractable search space superexponential in the number of graph nodes. A recent breakthrough formulates the problem as a continuous optimization with a structural constraint that ensures acyclicity (Zheng et al., 2018). The authors apply the approach to the linear structural equation model (SEM) and the least-squares loss function that are statistically well justified but nevertheless limited. Motivated by the widespread success of deep learning that is capable of capturing complex nonlinear mappings, in this work we propose a deep generative model and apply a variant of the structural constraint to learn the DAG. At the heart of the generative model is a variational autoencoder parameterized by a novel graph neural network architecture, which we coin DAG-GNN. In addition to the richer capacity, an advantage of the proposed model is that it naturally handles discrete variables as well as vector-valued ones. We demonstrate that on synthetic data sets, the proposed method learns more accurate graphs for nonlinearly generated samples; and on benchmark data sets with discrete variables, the learned graphs are reasonably close to the global optima. The code is available at \url{https://github.com/fishmoon1234/DAG-GNN}.

研究の動機と目的

• 線形 SEM の前提を超えたサンプルから忠実な DAG 構造を学習する動機。
• 非線形かつ多様なデータタイプ（連続、離散、ベクトル値）を捉える深層生成フレームワークの開発。
• 重み付き隣接行列 A を条件としたデータ分布をモデル化するため、グラフニューラルネットワークベースのエンコーダ/デコーダを変分自動エンコーダ内で活用する。
• 実用的な連続制約によって非循環性を保証し、augmented Lagrangian 最適化を用いて学習する。
• 合成データ、ベンチマークデータセット、および応用データセットで、既存の線形 SEM ベースの手法と比較して構造回復性能の向上を実証する。

提案手法

• DAG の重み付き隣接行列 A をパラメータ化し、Z を潜在入力として X を X = f2((I−AT)−1 f1(Z)) とモデル化する。
• エンコーダが q(Z|X) を計算し、デコーダが A を条件として p(X|Z) を定義する、グラフニューラルネットワークベースの VAE を使用する。
• 閉形式の KL(q(Z|X)‖p(Z)) を含む変分目的関数（ELBO）とモンテカルロ再構成項を採用する。
• 離散変数を row-wise softmax を用いたカテゴリデコーダ出力で扱い、尤度をそれに応じて調整する。
• 実用的に便利な非循環性制約 h(A) = tr[(I + α A∘A)^m] − m = 0 を導入し、augmented Lagrangian 法で最適化する。
• 訓練は、augmented Lagrangian を最小化することと、非循環性制約を満たすようにラグランジュ乗数とペナルティ C を更新することを交互に行う。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークベースの変分自動エンコーダは、非線形かつ混在型データ（連続と離散）から DAG 構造を正確に回復できるか？
• RQ2 提案された DAG-GNN フレームワークは、合成非線形データおよび離散変数のベンチマークの両方で、線形 SEM ベースの手法（例: DAG-NOTEARS）を上回るか？
• RQ3 実用的な非循環性制約を強制することが、深層生成 DAG モデルで学習されたグラフの品質にどのような影響を与えるか？
• RQ4 ベクトル値変数はこの DAG-GNN フレームワーク内で効果的にモデル化でき、スカラー変数アプローチよりも構造回復を改善できるか？

主な発見

• 合成非線形データにおいて、DAG-GNN は SHD を改善し、DAG-NOTEARS と比較してFDR を大幅に低減します。特に非線性が高まるほど顕著です。
• ベクトル値データについて、DAG-GNN は DAG-NOTEARS を上回り、すべての真のエッジを回復し、精度は同等かそれ以上。
• 離散ベンチマークデータセット（Child、Alarm、Pigs）で、DAG-GNN は BIC スコアが真値に近く、GOPNILP と競合的であり、単純な自己符号器にもかかわらず競争力がある。
• タンパク質信号伝達ネットワーク（Sachs ら）では、DAG-GNN は比較対象の中で最も低い SHD（18-22 範囲）を達成し、複数の真のおよび妥当な間接/逆エッジを含む、妥当な非循環グラフを学習します。
• このフレームワークは知識ベースのリレーショングラフにも拡張され、KB スキーマデータから直感的な因果エッジを抽出します。