[論文レビュー] Efficient Graph Generation with Graph Recurrent Attention Networks

Renjie Liao, Yujia Li+7 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Graph Neural Networks被引用数 173

ひとこと要約

GRANはブロック単位でグラフを生成し、グラフニューラルネットワークに基づくアテンションを用いて条件付けを改善し、混合Bernoulli出力と標準順序を用いて、5Kノードまでの効率的かつスケーラブルなグラフ生成を実現する。

ABSTRACT

We propose a new family of efficient and expressive deep generative models of graphs, called Graph Recurrent Attention Networks (GRANs). Our model generates graphs one block of nodes and associated edges at a time. The block size and sampling stride allow us to trade off sample quality for efficiency. Compared to previous RNN-based graph generative models, our framework better captures the auto-regressive conditioning between the already-generated and to-be-generated parts of the graph using Graph Neural Networks (GNNs) with attention. This not only reduces the dependency on node ordering but also bypasses the long-term bottleneck caused by the sequential nature of RNNs. Moreover, we parameterize the output distribution per block using a mixture of Bernoulli, which captures the correlations among generated edges within the block. Finally, we propose to handle node orderings in generation by marginalizing over a family of canonical orderings. On standard benchmarks, we achieve state-of-the-art time efficiency and sample quality compared to previous models. Additionally, we show our model is capable of generating large graphs of up to 5K nodes with good quality. To the best of our knowledge, GRAN is the first deep graph generative model that can scale to this size. Our code is released at: https://github.com/lrjconan/GRAN.

研究の動機と目的

• スケーラブルな自己回帰型グラフ生成モデルを開発し、生成過程でグラフ構造を活用する。
• 既存のRNNベース手法のノード順序依存性と長期的な逐次ボトルネックを低減する。
• アテンションを用いたブロック単位の生成機構を導入し、生成速度とサンプル品質のトレードオフを取る。
• ブロック内のエッジ相関をBernoulli混合出力で捉える。
• 変分的視点で、一般的な標準順序のファミリを周辺化してノード順序を扱う。

提案手法

• 隣接行列L^πの下三角のB行ブロックを一度に生成してグラフを作成する方法。これにより生成ステップはO(N)となる。
• 既に生成済みの部分グラフを条件付けするため、アテンティブなメッセージを持つグラフニューラルネットワークを使用。
• 各ブロックをマルチホップGNNのメッセージパッシング（R回）で表現し、辺を予測するためのノード表現h_i^Rを計算。
• ブロックの出力分布をBernoulli分布の混合としてモデリングし、混合重みと辺の確率はノードのペア表現から計算。
• 例: DFS、BFS、k-coreなどの標準的順序Qのファミリで周辺化し、変分的解釈による扱いやすい下界を介してp(G)を近似。
• 生成時の速度と品質のトレードオフを制御するブロックサイズBとストライドSを提供。ストライド付きサンプリングはブロック間の重なりを許す。

実験結果

リサーチクエスチョン

• RQ1 自己回帰型グラフ生成モデルは、条件付けにグラフ構造を活用して長距離依存を減らし、スケーラビリティを改善できるか。
• RQ2 アテンションベースのGNN条件付けと混合出力を用いたブロック単位のグラフ生成は、従来のGraphRNN系モデルと比べてサンプル品質と生成速度の双方を改善するか。
• RQ3 標準順序ファミリを周辺化することは、大規模グラフでの尤度推定と生成性能にどう影響するか。
• RQ4 GRANにおけるブロックサイズとストライドが、効率と品質のトレードオフに与える影響は何か。
• RQ5 GRANは、ノード数千までの大規模グラフへスケールし、競争力のあるグラフ統計を維持できるか。

主な発見

• 標準ベンチマークにおけるサンプル品質と効率で従来モデルを上回り、スケーラブルな自己回帰グラフ生成モデルの中で最先端の結果を達成。
• ブロック単位の生成は逐次ボトルネックをO(N^2)からO(N)に減らし、ノード数千までのグラフ生成を可能に。
• アテンティブGNN条件付けは、生成済み部分と既存部分の依存関係のモデリングを改善し、順序に対する感度を低減。
• Bernoulli出力の混合はブロック内のエッジ相関を捉え、複雑なエッジパターンのモデリングを改善。
• 選択された標準順序ファミリを周辺化することで、対数尤度近似が改善され、全順列を列挙せずに置換の問題を緩和する。
• ストライド付きサンプリングは生成速度とサンプル品質の調整可能なトレードオフを可能にし、ストライドが大きいほど品質に影響を与えつつ生成が速くなる。