[論文レビュー] GraphGAN: Graph Representation Learning with Generative Adversarial Nets

Hongwei Wang, Jia Wang+6 more|arXiv (Cornell University)|Nov 22, 2017

Advanced Graph Neural Networks参考文献 34被引用数 178

ひとこと要約

GraphGAN は生成的および識別的なグラフ表現学習を GAN フレームワークで統合し、グラフ softmax と BFS ベースのオンラインジェネレーターを導入して、リンク予測、ノード分類、推奨の性能を向上させます。

ABSTRACT

The goal of graph representation learning is to embed each vertex in a graph into a low-dimensional vector space. Existing graph representation learning methods can be classified into two categories: generative models that learn the underlying connectivity distribution in the graph, and discriminative models that predict the probability of edge existence between a pair of vertices. In this paper, we propose GraphGAN, an innovative graph representation learning framework unifying above two classes of methods, in which the generative model and discriminative model play a game-theoretical minimax game. Specifically, for a given vertex, the generative model tries to fit its underlying true connectivity distribution over all other vertices and produces "fake" samples to fool the discriminative model, while the discriminative model tries to detect whether the sampled vertex is from ground truth or generated by the generative model. With the competition between these two models, both of them can alternately and iteratively boost their performance. Moreover, when considering the implementation of generative model, we propose a novel graph softmax to overcome the limitations of traditional softmax function, which can be proven satisfying desirable properties of normalization, graph structure awareness, and computational efficiency. Through extensive experiments on real-world datasets, we demonstrate that GraphGAN achieves substantial gains in a variety of applications, including link prediction, node classification, and recommendation, over state-of-the-art baselines.

研究の動機と目的

• 生成的および識別的なグラフ表現学習を単一の対向フレームワーク内で統一することを動機づける。
• ジェネレーターは真の接続分布に適合することを目指し、ディスクリミネーターは真のエッジと生成エッジを識別する。
• 従来の softmax の非効率を克服し、グラフ構造を捉えるためのグラフ softmax を導入する。
• グラフの近接性を尊重する効率的なオンラインサンプリング戦略を開発する。
• 実世界の複数のグラフデータセットで三つのタスクを横断して GraphGAN を評価し、性能向上を示す。

提案手法

• ジェネレーター G(v|v_c) とディスクリミネーター D(v,v_c) の二人対戦ミニマックスゲームとして GraphGAN を定式化する。
• ディスクリミネーター D は頂点埋め込みの内積のシグモイドを用いる: D(v,v_c)=sigmoid(d_v^T d_{v_c})。
• ジェネレーター G は真の接続分布 p_true(v|v_c) を近似し、可能性の高い隣接ノードを生成することを目指す。
• グラフ softmax G(v|v_c) を BFS 木 T_c と局所 softmax の経路に基づく積を用いて正規化性・構造認識・効率性を確保する。
• 隣接ノード上の局所 softmax で定義される遷移確率 p_c(v_i|v) を用いた T_c 上のランダムウォークを介してサンプリングするオンライン生成戦略を提供する。
• 生成プロセスが離散的サンプリングを含むためポリシー勾配で G の勾配を導出し、ディスクリミネーターのフィードバックに基づく期待対数確率でパラメータ θ_G を更新可能にする。

実験結果

リサーチクエスチョン

• RQ1 ミニマックス対戦フレームワークの下で生成的および識別的なグラフ表現学習を効果的に統一できるか。
• RQ2 グラフ softmax は標準の softmax、階層的 softmax、またはグラフのネガティブサンプリングよりも正規化、グラフ構造認識、計算効率を提供するか。
• RQ3 オンラインで BFS ベースのジェネレーターサンプリング戦略は大規模グラフでのスケーラブルな訓練を、精度を犠牲にせず実現できるか。
• RQ4 GraphGAN の埋め込みはリンク予測、ノード分類、推奨のパフォーマンスを強力なベースラインと比較して改善するか。

主な発見

• GraphGAN は arXiv-AstroPh および arXiv-GrQc のリンク予測で強力なベースラインを上回り、正解率の向上が 0.59% から 11.13%、Macro-F1 の向上が 0.59% から 11.13%（データセットに依存）となる。
• GraphGAN は BlogCatalog および Wikipedia のノード分類を改善し、正解率の向上が 0.95% から 21.71%、Macro-F1 の向上が最大で 21.71%。
• MovieLens-1M の推奨では GraphGAN が Precision@20 および Recall@20 の改善をもたらし、例えば Precision@20 がベースラインを 38.56% 上回り、Recall@20 が 52.33% 上回る。
• 学習ダイナミクスはジェネレーターが強い性能に到達する一方、ディスクリミネーターは情報性を保ちつつランダムな機会にはない水準で、ミニマックスゲームの安定した均衡を示す。
• Graph softmax は経験的にグラフの近接性を意識した接続パターンを捉え、全てのソフトマックス計算をサンプルあたり O(d log V) に削減する。