[論文レビュー] Permutation Invariant Graph Generation via Score-Based Generative Modeling

Chenhao Niu, Yang Song+4 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Graph Neural Networks被引用数 30

ひとこと要約

本論文は、スコアベースの生成モデリングに基づくパーミュテーション不変のグラフ生成手法を提示し、スコア関数をモデル化するためにパーミュテーション同値性を持つ ED P-GNN を用い、アニーリング Langevin ダイナミクスによるサンプリングを行います。これにより、競争力のある生成品質を達成し、エッジごとの予測性能に優れます。

ABSTRACT

Learning generative models for graph-structured data is challenging because graphs are discrete, combinatorial, and the underlying data distribution is invariant to the ordering of nodes. However, most of the existing generative models for graphs are not invariant to the chosen ordering, which might lead to an undesirable bias in the learned distribution. To address this difficulty, we propose a permutation invariant approach to modeling graphs, using the recent framework of score-based generative modeling. In particular, we design a permutation equivariant, multi-channel graph neural network to model the gradient of the data distribution at the input graph (a.k.a., the score function). This permutation equivariant model of gradients implicitly defines a permutation invariant distribution for graphs. We train this graph neural network with score matching and sample from it with annealed Langevin dynamics. In our experiments, we first demonstrate the capacity of this new architecture in learning discrete graph algorithms. For graph generation, we find that our learning approach achieves better or comparable results to existing models on benchmark datasets.

研究の動機と目的

• グラフ生成モデリングにおけるパーミュテーション不変性に対処する。
• グラフ向けのパーミュテーション同値性を持つスコアネットワークを導入する。
• 学習済みスコアからグラフをサンプルするためにアニーリング Langevin ダイナミクスを活用する。
• マルチチャネル隣接行列を備えたEDP-GNNアーキテクチャを提案する。
• ベンチマークデータセットで競争力のある生成品質と、エッジごとの予測性能の高さを示す。

提案手法

• データ分布の勾配（スコア）を、パーミュテーション同値性を持つグラフニューラルネットワーク（EDP-GNN）でモデル化する。
• 隣接行列のガウス摂動を用いたスコアマッチングでスコアモデルを訓練する。
• ノイズレベル条件付けを伴うアニーリング Langevin ダイナミクスを用いてグラフをサンプルする。
• 隣接行列を摂動させて最終サンプルを量子化することで、離散的なグラフデータを扱う。
• 学習されたグラフ分布のパーミュテーション不変性を、同値性スコアとその線積分表現を通じて保証する。

実験結果

リサーチクエスチョン

• RQ1 パーミュテーション同値性を持つスコア関数は、グラフのパーミュテーション不変な分布につながるか。
• RQ2 既存のグラフ生成モデルと比較して、提案されたEDP-GNNがエッジごとの特徴とグラフ分布を学習する際の有効性はどの程度か。
• RQ3 学習されたスコアのアニーリング Langevin サンプリングは、ベンチマークデータセットで競争力のある品質のグラフサンプルをもたらすか。

主な発見

• マルチチャンネル隣接行列を用いた EDp-GNN は、バニラ GNN と比較してエッジごとの予測を改善し、特に重み付きグラフで顕著である。
• スコアベースの生成アプローチは、ベンチマーク指標において GraphRNN および GraphNVP と同等の生成品質を持つグラフサンプルを生み出す。
• 本モデルは摂動を受けたグラフをノイズ除去された構造へ写像することを学習でき、解釈可能な中間チャネル表現を明らかにする。
• グラフ生成タスクにおいて、複数の統計量とデータセットに対して競争力のある MMD 指標を達成する。
• スコアネットワークのパーミュテーション同値性は、含意されるグラフ分布にパーミュテーション不変性を誘導する。