[论文解读] GraphGAN: Graph Representation Learning with Generative Adversarial Nets

Hongwei Wang, Jia Wang+6 more|arXiv (Cornell University)|Nov 22, 2017

Advanced Graph Neural Networks参考文献 34被引用 178

一句话总结

GraphGAN 将生成式与判别式图表示学习在一个 GAN 框架中统一，引入 graph softmax 和基于 BFS 的在线生成器以提升链接预测、节点分类和推荐。

ABSTRACT

The goal of graph representation learning is to embed each vertex in a graph into a low-dimensional vector space. Existing graph representation learning methods can be classified into two categories: generative models that learn the underlying connectivity distribution in the graph, and discriminative models that predict the probability of edge existence between a pair of vertices. In this paper, we propose GraphGAN, an innovative graph representation learning framework unifying above two classes of methods, in which the generative model and discriminative model play a game-theoretical minimax game. Specifically, for a given vertex, the generative model tries to fit its underlying true connectivity distribution over all other vertices and produces "fake" samples to fool the discriminative model, while the discriminative model tries to detect whether the sampled vertex is from ground truth or generated by the generative model. With the competition between these two models, both of them can alternately and iteratively boost their performance. Moreover, when considering the implementation of generative model, we propose a novel graph softmax to overcome the limitations of traditional softmax function, which can be proven satisfying desirable properties of normalization, graph structure awareness, and computational efficiency. Through extensive experiments on real-world datasets, we demonstrate that GraphGAN achieves substantial gains in a variety of applications, including link prediction, node classification, and recommendation, over state-of-the-art baselines.

研究动机与目标

• 在一个统一的对抗框架中，推动生成式与判别式图表示学习的结合。
• 提出 GraphGAN，其生成器旨在拟合真实连接分布，判别器区分真实边与生成边。
• 引入 graph softmax，以克服传统 softmax 的低效并捕捉图结构。
• 开发一个在线采样策略，以实现高效生成，同时尊重图的邻近关系。
• 在多个人现实世界图数据集和三项任务上评估 GraphGAN，以证明性能提升。

提出的方法

• 将 GraphGAN 形式化为生成器 G(v|v_c) 与判别器 D(v,v_c) 之间的两人零和极小极大博弈。
• 判别器 D 使用顶点嵌入内积的 sigmoid：D(v,v_c)=sigmoid(d_v^T d_{v_c})。
• 生成器 G 旨在近似真实连接分布 p_true(v|v_c) 并生成可能的邻居。
• 引入 graph softmax G(v|v_c)，使用 BFS-tree T_c 和局部 softmax 的路径乘积以确保归一化、结构感知和高效性。
• 提供一种在线生成策略，通过在 T_c 上的随机游走进行采样，转移概率 p_c(v_i|v) 由邻居局部 softmax 定义。
• 由于离散采样，推导 G 的策略梯度梯度，使通过带有判别器反馈加权的期望对数概率来更新 θ_G。

实验结果

研究问题

• RQ1 生成式与判别式图表示学习能否在一个极小极大对抗框架下有效统一？
• RQ2 graph softmax 是否在图中相对标准的 softmax、分层 softmax 或负采样等方法，提供归一化、图结构感知和计算效率？
• RQ3 一种在线、基于 BFS 的生成器采样策略是否能够在大规模图上实现可扩展训练且不牺牲准确性？
• RQ4 与强基线相比，GraphGAN 的嵌入是否在链接预测、节点分类和推荐方面提升性能？

主要发现

• GraphGAN 在 arXiv-AstroPh 和 arXiv-GrQc 的链接预测上优于强基线，准确率提升范围为 0.59% 到 11.13%，Macro-F1 提升范围为 0.59% 到 11.13%（取决于数据集）。
• GraphGAN 在 BlogCatalog 和 Wikipedia 的节点分类上有所提升，准确率提升从 0.95% 到 21.71%，Macro-F1 提升最高达 21.71%。
• 在 MovieLens-1M 的推荐中，GraphGAN 提升了 Precision@20 和 Recall@20，例如 Precision@20 比基线高出 38.56%，Recall@20 高出 52.33%。
• 学习动态显示生成器达到强劲表现，而判别器保持信息性但并非随机猜测，指示极小极大博弈中的稳定均衡。
• graph softmax 实证地捕捉了图的近邻感知连通模式，并将每个样本的计算从全 softmax 降至 O(d log V)。