[論文レビュー] GraphRNN: A Deep Generative Model for Graphs

Jiaxuan You, Rex Ying+3 more|arXiv (Cornell University)|Feb 24, 2018

Advanced Graph Neural Networks参考文献 20被引用数 61

ひとこと要約

GraphRNNは、進化するグラフ構造に条件付けられた、ノードおよびエッジの形成を段階的にモデル化することで、複雑なグラフを学習して生成する深層自己回帰的生成モデルである。このモデルは、すべてのベースラインを上回り、ターゲットのグラフ分布を正確に再現し、50倍も大きなグラフで多様で構造的に正確なグラフを生成できる。

ABSTRACT

Modeling and generating graphs is fundamental for studying networks in biology, engineering, and social sciences. However, modeling complex distributions over graphs and then efficiently sampling from these distributions is challenging due to the non-unique, high-dimensional nature of graphs and the complex, non-local dependencies that exist between edges in a given graph. Here we propose GraphRNN, a deep autoregressive model that addresses the above challenges and approximates any distribution of graphs with minimal assumptions about their structure. GraphRNN learns to generate graphs by training on a representative set of graphs and decomposes the graph generation process into a sequence of node and edge formations, conditioned on the graph structure generated so far. In order to quantitatively evaluate the performance of GraphRNN, we introduce a benchmark suite of datasets, baselines and novel evaluation metrics based on Maximum Mean Discrepancy, which measure distances between sets of graphs. Our experiments show that GraphRNN significantly outperforms all baselines, learning to generate diverse graphs that match the structural characteristics of a target set, while also scaling to graphs 50 times larger than previous deep models.

研究の動機と目的

• 非局所的エッジ依存関係を有する複雑で高次元のグラフ分布をモデル化する課題に対処すること。
• 強い構造的仮定を必要とせず、学習されたグラフ分布からの効率的なサンプリングを可能にすること。
• ターゲットの構造的特徴を正確に再現できる多様なグラフを生成できるスケーラブルな深層生成モデルを開発すること。
• グラフ生成のための包括的なベンチマークスイートと、新しい評価指標を導入すること。

提案手法

• GraphRNNは、グラフ生成を段階的なプロセスとしてモデル化し、各ステップを部分的に構築されたグラフに条件づける。
• 長距離依存関係を捉えるために、RNNベースのアーキテクチャを用いてノードおよびエッジの追加順序をモデル化する。
• グラフ生成を2段階に分解する：まずノードの順序を生成し、次に現在のグラフ構造に基づいて段階的にエッジを追加する。
• 分散を低減し、訓練の安定性を向上させるために、階層的な自己回帰的アプローチを採用する。
• 代表的なグラフのセット上でエンドツーエンドに訓練することで、潜在的な分布を学習する。
• 生成されたグラフと実際のグラフの間の分布の類似度を測定するために、Maximum Mean Discrepancy (MMD) メトリクスを用いる。

実験結果

リサーチクエスチョン

• RQ1 強い構造的仮定を必要とせずに、深層生成モデルはグラフ構造における複雑な非局所的依存関係を学習できるか？
• RQ2 順次的自己回帰的モデルは、実世界のグラフの構造的特徴をどれほど正確に再構築できるか？
• RQ3 従来の深層生成アプローチと比較して、このようなモデルはどれほど大きなグラフにスケーリングできるか？
• RQ4 MMDに基づくメトリクスは、生成されたグラフ分布の品質を評価するためにどれほど有効か？

主な発見

• GraphRNNは、すべてのベースラインモデルと比較して、ターゲットのグラフ分布の構造的特徴を顕著に正確に再現している。
• MMDに基づく評価指標において、生成されたグラフは実際のグラフと区別がつかないほど多様で構造的に正確である。
• GraphRNNは、従来の深層生成モデルが扱えるグラフの50倍も大きなグラフにスケーリングできる。
• 階層的な自己回帰的設計により、平坦な順次モデルと比較して訓練の安定性と生成品質が向上している。
• MMDに基づくメトリクスを備えたベンチマークスイートにより、グラフ生成モデルの信頼性ある定量的比較が可能になった。
• モデルは、現実的で信頼性の高いグラフ生成に不可欠な、複雑な非局所的エッジ形成の依存関係を効果的に捉えている。