[論文レビュー] Scalable Deep Generative Modeling for Sparse Graphs

Hanjun Dai, Azade Nazi+3 more|arXiv (Cornell University)|Jun 28, 2020

Advanced Graph Neural Networks被引用数 17

ひとこと要約

本稿では、グラフのスパarsityを活用することで、時間計算量を Ω(n²) から O((n+m)log n) に削減するスケーラブルな自己回帰的生成モデル BiGG を提案する。100,000ノードに達する大規模グラフにおいて、SOTA の生成品質を達成し、O(log n) の同期ステップで十分な並列学習が可能である。

ABSTRACT

Learning graph generative models is a challenging task for deep learning and has wide applicability to a range of domains like chemistry, biology and social science. However current deep neural methods suffer from limited scalability: for a graph with $n$ nodes and $m$ edges, existing deep neural methods require $Ω(n^2)$ complexity by building up the adjacency matrix. On the other hand, many real world graphs are actually sparse in the sense that $m\ll n^2$. Based on this, we develop a novel autoregressive model, named BiGG, that utilizes this sparsity to avoid generating the full adjacency matrix, and importantly reduces the graph generation time complexity to $O((n + m)\log n)$. Furthermore, during training this autoregressive model can be parallelized with $O(\log n)$ synchronization stages, which makes it much more efficient than other autoregressive models that require $Ω(n)$. Experiments on several benchmarks show that the proposed approach not only scales to orders of magnitude larger graphs than previously possible with deep autoregressive graph generative models, but also yields better graph generation quality.

研究の動機と目的

• 深層生成モデルにおけるグラフのスケーラビリティのボトル neck を解消すること。これは、通常、完全な隣接行列の構築に起因して Ω(n²) の計算量を要するためである。
• 現在の自己回帰的モデルが二次時間およびメモリコストのため処理できない大規模なスパースグラフ（例：100k ノード）の学習と生成を可能にすること。
• スパarsity を活用し、非線形な同期を有する並列可能な自己回帰的構造を設計することで、学習時間とメモリ使用量を削減すること。
• 顕著な計算量の削減にもかかわらず、ベンチマークデータセットにおける生成品質を維持または向上させること。

提案手法

• BiGG は R-MAT をインspire した二分木データ構造を用い、1エッジあたり O(log n) 時間でエッジを生成することで、明示的な完全な隣接行列の計算を回避する。
• ノードの順序（例：BFS/DFS）を用いて木の幅を最小化することで、効率を向上させる木構造の自己回帰的モデルを採用する。
• ノードごとに条件付きでエッジ集合を生成する自己回帰的シーケンスを定義する。この際、以前に処理されたノードに条件づけられる。
• 階層的なコンテキスト埋め込みスキームを用いて学習を並列化し、O(log n) の順序付きステップでのみ同期を必要とすることで、効率的な同期を実現する。
• 学習中は O(√(m log n))、推論中は O(log n) のメモリ使用量に抑えることで、数百万ノードのグラフでも単一GPUでの学習が可能になる。
• 離散的エッジ生成にもかかわらず、微分可能サンプリングを用いた尤度目的関数により、エンドツーエンドの最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 スパースグラフにスケーラブルに拡張可能な深層生成モデルを設計できるか？ これは、Ω(n²) の計算量を回避する必要がある。
• RQ2 自己回帰的グラフモデルにおける時間的・メモリ的コストを削減しながらも、高い品質のグラフ生成を維持できるか？
• RQ3 自己回帰的グラフモデルの学習を並列化し、従来の手法と比較して同期オーバーヘッドを低減できるか？
• RQ4 グラフのスパarsity を活用することで、生成品質を損なわず、大幅にスケーラビリティを向上できるか？

主な発見

• BiGG はグラフ生成に O((n+m)log n) の時間計算量を達成し、従来の自己回帰的深層モデルの Ω(n²) に比べて顕著な改善を示す。
• 本モデルは単一GPUで最大100,000ノードのグラフを生成可能であり、これは従来の自己回帰的モデルが処理可能なスケールより数個のオーダーも大きい。
• 合成および実世界のデータセット（タンパク質、3Dメッシュ、SATインスタンス）において、GRAN などのSOTAモデルと同等またはそれを上回る生成品質を達成し、100kノードのグリッドグラフではMMDスコアが2.54e-2まで低下した。
• 学習の同期ステップは O(log n) にまで削減され、GraphRNN（Ω(n²)） や GRAN（O(n)） よりも著しく高速な学習が可能であり、高品質なサンプルを維持している。
• 学習中のメモリコストは O(√(m log n)) にまで削減され、GRAN がRAM制限で失敗するような大規模グラフでも単一GPUでの学習が可能になった。
• エッジ密度が1%でも、スペクトルMMDスコアが真値（Erdős–Rényi モデル）に近く、さまざまなエッジ密度においても強力な性能を維持した。