[論文レビュー] D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

Muhan Zhang, Shali Jiang+3 more|arXiv (Cornell University)|Apr 24, 2019

Advanced Graph Neural Networks参考文献 73被引用数 87

ひとこと要約

D-VAE は DAG における計算を符号化するための非同期メッセージ伝搬を備えた DAG variational autoencoder を導入し、ニューラルアーキテクチャ探索と Bayesian network 構造学習における潜在空間ベイズ最適化を可能にする。

ABSTRACT

Graph structured data are abundant in the real world. Among different graph types, directed acyclic graphs (DAGs) are of particular interest to machine learning researchers, as many machine learning models are realized as computations on DAGs, including neural networks and Bayesian networks. In this paper, we study deep generative models for DAGs, and propose a novel DAG variational autoencoder (D-VAE). To encode DAGs into the latent space, we leverage graph neural networks. We propose an asynchronous message passing scheme that allows encoding the computations on DAGs, rather than using existing simultaneous message passing schemes to encode local graph structures. We demonstrate the effectiveness of our proposed DVAE through two tasks: neural architecture search and Bayesian network structure learning. Experiments show that our model not only generates novel and valid DAGs, but also produces a smooth latent space that facilitates searching for DAGs with better performance through Bayesian optimization.

研究の動機と目的

• Directed acyclic graphs (DAGs) を最適化する課題の動機付けと、それを neural architecture search (NAS) および Bayesian network structure learning (BNSL) のようなアプリケーションで直面する課題に対処する。
• DAG の構造だけでなく DAG 上の計算を符号化する DAG-structured variational autoencoder (D-VAE) を提案する。
• エンコード時とデコード時の DAG の依存関係を尊重するため、グラフニューラルネットワーク内に非同期のメッセージ伝搬方式を開発する。
• 連続潜在空間での最適化を可能にし、ベイズ最適化を介して DAG 探索を効率化する。

提案手法

• 計算を elementary operations からなる DAG として定義する。
• predecessors をすべて待ってノードを更新することで（トポロジカル順序）DAG をエンコードする、非同期のメッセージ伝搬を備えたグラフニューラルネットワークを用いる。
• DAG 上の計算を潜在空間へ射影する injective encoder を提供する（Theorem 2）— injective aggregation および update 関数の下で。
• DAG を潜在ベクトルからデコードする際、ノードおよびエッジ予測のステップを含む、類似の非同期かつ計算認識的な生成プロセスを用いる。
• Variational lower bound を最大化し DAG の再構成を促進するため、teacher forcing で訓練する。
• 再構成・有効性・独自性・新規性・下流の最適化において、DAG に適応した baselines（S-VAE, GraphRNN, GCN, DeepGMG）と比較。

実験結果

リサーチクエスチョン

• RQ1 D-VAE は DAG 上の計算を injectively 符号化し、各計算が一意の潜在埋め込みに対応するか。
• RQ2 D-VAE が学習した潜在表現は、有効な DAG の正確な再構成と生成をサポートするか。
• RQ3 潜在空間は DAG の性能を予測し最適化を導く際に滑らかで有益か。
• RQ4 D-VAE 潜在空間でのベイズ最適化は baselines よりも優れたニューラルアーキテクチャと Bayesian network を見つけるか。

主な発見

Metric	Neural architectures (D-VAE)	Bayesian networks (D-VAE)
Accuracy	99.96%	99.94%
Validity	100.00%	98.84%
Uniqueness	37.26%	38.98%
Novelty	100.00%	98.01%

• D-VAE はほぼ完璧な再構成と高い事前有効性を達成し、妥当性は高く、新規性は良好で、課題間で妥当性が維持される。
• D-VAE から得られる潜在埋め込みは baselines と比べて DAG の性能を良く予測する（ RMSE が低く、Pearson r が高い）。
• D-VAE 潜在空間でのベイズ最適化は baselines より高性能なニューラルアーキテクチャを発見する（トップ精度 ~94.80%）
• D-VAE によって見つかった Bayesian network 構造は、baselines よりも良い BIC スコアを達成し、真の生成元に近づく。
• 学習された潜在空間は滑らかで、高スコア領域を識別する能力が高く、効果的な探索を可能にしている。