[論文レビュー] Graph Generation with Variational Recurrent Neural Network

Shih-Yang Su, Hossein Hajimirsadeghi+1 more|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 21被引用数 17

ひとこと要約

本稿では、シーケンスベースの自己回帰的VAEフレームワークを活用することで、グラフ構造とノード属性を統合的にモデル化する変分再帰ニューラルネットワーク、GraphVRNNを提案する。学習可能な事前分布と変分推論を組み込むことで、特に大規模かつ異種のデータセットにおいて、複雑なグラフ分布のモデリングと現実的な構造・属性の生成において最先端の性能を達成した。

ABSTRACT

Generating graph structures is a challenging problem due to the diverse representations and complex dependencies among nodes. In this paper, we introduce Graph Variational Recurrent Neural Network (GraphVRNN), a probabilistic autoregressive model for graph generation. Through modeling the latent variables of graph data, GraphVRNN can capture the joint distributions of graph structures and the underlying node attributes. We conduct experiments on the proposed GraphVRNN in both graph structure learning and attribute generation tasks. The evaluation results show that the variational component allows our network to model complicated distributions, as well as generate plausible structures and node attributes.

研究の動機と目的

• グラフ構造とノード属性の両方の複雑で高次元の分布を捉えることに課題を抱える既存のグラフ生成モデルの限界を解消すること。
• GraphRNNフレームワークに変分オートエンコーダ（VAE）を拡張することで、潜在要因をモデル化し、生成能力を向上させつつもスケーラビリティを維持すること。
• BFSに基づくシーケンス生成スキームの下で、条件付きVAEの定式化により、グラフ構造とノード属性の分布を共同で学習すること。
• 特に大規模かつ異種の環境において、妥当で多様なグラフの生成能力と、複雑な属性分布の正確な近似能力を評価すること。

提案手法

• スケーラビリティの向上を図るため、幅優先探索（BFS）順序によるパーミュテーションを用いてグラフをシーケンスにマッピングし、自己回帰的生成を可能にする。
• 潜在変数 $ z_i $ を用いた条件付き変分オートエンコーダ（CVAE）を採用し、$ p(S^ au, X^ au) $ の同時分布をモデル化する。ここで $ S^ au $ はエッジのシーケンス、$ X^ au $ は属性のシーケンスを表す。
• 潜在コードを推論するための認識ネットワーク $ q_ heta(z_i | S_{\bullet}^\tau, X_{\bullet}^\tau) $ と、潜在変数の事前分布をモデル化するための事前ネットワーク $ p_\theta(z_i | S_{<i}^\tau, X_{<i}^\tau) $ を使用する。
• 再構成損失と事後分布と事前分布のKLダイバージェンスを含む、変分下界（ELBO）を最適化する。ハイパーパrameter $ \beta $ が再構成と正則化のトレードオフを制御する。
• デコーダーを二つのヘッドに分離する：一つは潜在コードと以前の隠れ状態に条件づけたエッジ接続 $ S_i^\tau $ の予測、もう一つはノード属性 $ X_i^\tau $ の生成。
• ノードレベルのRNN間で重みを共有することでパラメータ効率を維持し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 決定論的モデル（例：GraphRNN）と比較して、変分再帰モデルは、グラフ構造とノード属性の両方における複雑な依存関係をより効果的に捉えることができるか？
• RQ2 学習可能な事前ネットワークの導入により、特に大規模または異種のグラフにおいて、複雑なグラフ分布のモデリングがどの程度向上するか？
• RQ3 変分部成分が、多様で現実的なグラフ構造および属性分布の生成能力をどの程度向上させるか？
• RQ4 特に属性生成と構造学習のタスクにおいて、GraphVRNNの性能はハイパーパrameter $ \beta $ に対してどの程度感度を示すか？

主な発見

• Com-mixデータセットにおいて、GraphVRNNは顕著に低い次数MMD（Maximum Mean Discrepancy）を達成し、GraphRNN や GraphVRNN-nlp よりも複雑な内部接続確率のモデリングが優れていることが示された。
• Com-attrデータセットでは、$ \beta = 0.5 $ のとき、グラフ全体の属性分布に対するEarth Mover’s Distance（EMD）が0.113にまで低下し、GraphRNN（0.460）とGraphVRNN-nlp（0.290）を上回った。これは、属性分布の近似精度が優れていることを示している。
• 構造学習タスクにおいて、GraphVRNNは $ \beta $ に対して感受性が低く、構造的生成のための正則化強度の変化に対しても安定した性能を示した。
• $ \beta $ を0.5に緩和することで、属性生成性能が向上し、特にCom2ではEMDが0.095に低下した。これは、より柔軟な事前分布が分布モデリングを向上させることを示している。
• 密度プロットによる可視化から、GraphVRNNはGraphRNNよりも現実的な属性分布を生成していることが確認された。GraphRNNは決定論的推論のため、モードに収束しやすい傾向にあった。
• 60ノードに達するような大規模なグラフにおいても、強力な性能を維持しており、複雑で大規模な環境下でもスケーラビリティと頑健性を示した。