[論文レビュー] GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models

Jiaxuan You, Rex Ying+3 more|arXiv (Cornell University)|Feb 24, 2018

Graph Theory and Algorithms被引用数 318

ひとこと要約

GraphRNNは、ノードごと、エッジごとにグラフを構築する自己回帰的グラフ生成モデルを訓練し、BFS順序のシーケンスを用いて複雑な依存関係をモデル化し、非常に大規模なグラフにもスケーラブルで、最先端のグラフ生成性能を達成します。

ABSTRACT

Modeling and generating graphs is fundamental for studying networks in biology, engineering, and social sciences. However, modeling complex distributions over graphs and then efficiently sampling from these distributions is challenging due to the non-unique, high-dimensional nature of graphs and the complex, non-local dependencies that exist between edges in a given graph. Here we propose GraphRNN, a deep autoregressive model that addresses the above challenges and approximates any distribution of graphs with minimal assumptions about their structure. GraphRNN learns to generate graphs by training on a representative set of graphs and decomposes the graph generation process into a sequence of node and edge formations, conditioned on the graph structure generated so far. In order to quantitatively evaluate the performance of GraphRNN, we introduce a benchmark suite of datasets, baselines and novel evaluation metrics based on Maximum Mean Discrepancy, which measure distances between sets of graphs. Our experiments show that GraphRNN significantly outperforms all baselines, learning to generate diverse graphs that match the structural characteristics of a target set, while also scaling to graphs 50 times larger than previous deep models.

研究の動機と目的

• 観測されたグラフデータから、強い手作りの仮定を用いずにグラフの生成モデルを直接学習する。
• 共有RNNを用いて、ノード列シーケンスとエッジ列シーケンスのプロセスにグラフ生成を分解する。
• さまざまなサイズのグラフに対する実行可能性とスケーラビリティを改善するために、BFSベースの順序付けを導入する。

提案手法

• グラフを、BFS順序の下で各ノードごとに生成される隣接ベクトル S^π のシーケンスとして表現する。
• ノードを生成するグラフレベルRNN（GRU）と、前のノードへの隣接を生成するエッジレベルRNNを用いる。
• GraphRNNの2つのバリアントを提供する: GraphRNN-S（Multivariate Bernoulli）と、階層RNNを用いた完全なDependent Bernoulli列。
• BFSベースの順序付けを採用して、ノードあたりのエッジ予測数を抑え、実務上ほぼ二次時間を達成する。
• 次数分布、クラスター係数、モチーフ数の分布に対して、Maximum Mean Discrepancy (MMD) フレームワークを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 深層自己回帰モデルは、サイズが異なるデータおよび固定ノード集合を持たないグラフを生成することを学習できるか？
• RQ2 BFS順序付けは計算量を削減し、グラフ生成のスケーラビリティと性能を向上させるか？
• RQ3 生成されたグラフは、次数分布、クラスター係数、モチーフなどの高次統計において実グラフにどれだけ近いか？
• RQ4 提案モデルは、多様なグラフタイプ（グリッド状、コミュニティ、タンパク質、エゴネットワーク）に対して一般化するか？

主な発見

• GraphRNNは、データセット全体で従来および最近の深層グラフ生成ベースラインを著しく上回る。
• GraphRNNは、ベースラインと比較して平均80-90%のMMD削減を達成する。
• 本手法は、従来の深層モデルの約50倍規模のグラフへスケールする。
• GraphRNN-Sはエッジ依存がより単純なタンパク質様の最近傍グラフで高い性能を示す。
• モデルは訓練-検証NLLギャップが小さく、良好な一般化を示している。
• GraphRNNはBarabási-AlbertとErdős-Rényiグラフ構造の間を補間する際にもロバスト性を示す。