[論文レビュー] NetGAN: Generating Graphs via Random Walks

Aleksandar Bojchevski, Oleksandr Shchur+2 more|arXiv (Cornell University)|Mar 2, 2018

Advanced Graph Neural Networks参考文献 33被引用数 151

ひとこと要約

NetGAN はグラフ上のバイアスされたランダムウォークの分布を Wasserstein GAN を用いて学習する暗黙的生成モデルであり、現実のネットワークを模倣し、リンク予測へ一般化するグラフを生成する。

ABSTRACT

We propose NetGAN - the first implicit generative model for graphs able to mimic real-world networks. We pose the problem of graph generation as learning the distribution of biased random walks over the input graph. The proposed model is based on a stochastic neural network that generates discrete output samples and is trained using the Wasserstein GAN objective. NetGAN is able to produce graphs that exhibit well-known network patterns without explicitly specifying them in the model definition. At the same time, our model exhibits strong generalization properties, as highlighted by its competitive link prediction performance, despite not being trained specifically for this task. Being the first approach to combine both of these desirable properties, NetGAN opens exciting avenues for further research.

研究の動機と目的

• 単一の実世界グラフから学習できる、グラフの暗黙的生成モデルを動機づけ開発する。
• モデル内で明示的な指定をせずに、次数分布やコミュニティ構造など、重要なトポロジー特性を捉える。
• 生成されたグラフが入力グラフを超えて一般化することを、特にリンク予測性能を通じて示す。

提案手法

• グラフ生成問題を、入力グラフ上のバイアス付きランダムウォークの分布を学習することとしてモデル化する。
• 確率的ニューラルネットワーク生成器を用いてランダムウォークを生成し、実データのウォークと生成ウォークを識別する識別器を用いる。
• バイアス対応の2次ランダムウォークサンプリング戦略と、微分可能なサンプリングのためのストレートスルーGumbelを備えたLSTMベースの生成器を採用する。
• 安定性のために Wasserstein GAN目的関数と勾配ペナルティで学習する。
• 生成されたウォークを確率的かつエッジ認識サンプリング手順で二値隣接行列に組み立てる。

実験結果

リサーチクエスチョン

• RQ1 明示的な性質制約なしに、実世界のネットワーク特性を再現するグラフを生成できる暗黙的GANベースのモデルは存在するか？
• RQ2 NetGAN によって生成されたグラフは、リンク予測性能によって裏付けられるように、トレーニンググラフを超えて一般化するか？
• RQ3 ハイパーパラメータ（例：ランダムウォーク長、潜在空間など）は、生成されたグラフの現実感と多様性にどう影響するか？
• RQ4 全隣接行列の代わりにランダムウォークで操作することで、大規模グラフに対してモデルはスケーラブルか？

主な発見

グラフ	最大次数	アソーティリティ	三角形数	べき乗則指数	連結コミュニティ間の一体性密度	コミュニティ内の一体性密度	クラスタリング係数	特性パス長	平均ランク
Cora-ML	240	-0.075	2,814	1.860	4.3e-4	1.7e-3	2.73e-3	5.61
NetGAN EO (52% EO)	233	-0.066	1,588	1.793	6.0e-4	1.4e-3	2.44e-3	5.20	1.75

• NetGAN は、明示的にエンコードせずに、多くの既知のネットワークパターンを一貫して再現する。
• モデルは高い一般化性能を示し、複数のデータセットで競争力がある、あるいは最先端のリンク予測を達成する。
• より長いランダムウォーク（T）は、エッジのみ生成より性能を向上させるが、ある長さを超えると効果は減少する。
• 潜在空間内補間は、グラフ特性の滑らかな遷移を生み出し、特徴が異なるグラフを生成可能にする。
• より多くのランダムウォークをサンプリングするとリンク予測性能が向上し、特に大規模グラフで効果的で、サンプリングは parallelizable。