[论文解读] Adversarially Regularized Graph Autoencoder for Graph Embedding

Shirui Pan, Ruiqi Hu+4 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Graph Neural Networks参考文献 24被引用 70

一句话总结

ARGA 与 ARVGA 联合学习图嵌入，通过将图卷积自编码器与对抗正则化相结合以匹配先验分布，在基线之上提升链接预测、聚类和可视化。

ABSTRACT

Graph embedding is an effective method to represent graph data in a low dimensional space for graph analytics. Most existing embedding algorithms typically focus on preserving the topological structure or minimizing the reconstruction errors of graph data, but they have mostly ignored the data distribution of the latent codes from the graphs, which often results in inferior embedding in real-world graph data. In this paper, we propose a novel adversarial graph embedding framework for graph data. The framework encodes the topological structure and node content in a graph to a compact representation, on which a decoder is trained to reconstruct the graph structure. Furthermore, the latent representation is enforced to match a prior distribution via an adversarial training scheme. To learn a robust embedding, two variants of adversarial approaches, adversarially regularized graph autoencoder (ARGA) and adversarially regularized variational graph autoencoder (ARVGA), are developed. Experimental studies on real-world graphs validate our design and demonstrate that our algorithms outperform baselines by a wide margin in link prediction, graph clustering, and graph visualization tasks.

研究动机与目标

• 提出需要尊重潜在数据分布而不仅仅是结构重构的鲁棒图嵌入的动机。
• 提出两种对抗正则化的图嵌入模型（ARGA 和 ARVGA），将结构、内容和先验-潜在分布整合起来。
• 在无监督任务上展示更优的性能：链接预测、节点聚类和图形可视化。

提出的方法

• 用图卷积编码器对图结构和节点内容进行编码，以获得潜在表示 Z。
• 通过来自 Z 的链接预测层解码以重构图的邻接矩阵 A。
• 通过对抗方式强制 Z 匹配先验分布（高斯分布），以对潜在编码进行正则化，使用一个判别器。
• 在联合优化中训练 ARGA（图自编码器）和 ARVGA（变分图自编码器），结合对抗模块。
• 优化涉及重构损失 L0、变分下界的 L1，以及对抗损失（方程式 12 与 13）。
• 编码器的变体包括两层 GCN，其中 Z = q(Z|X,A) 且先验分布为高斯 p(Z)。

实验结果

研究问题

• RQ1 对抗正则化能否在不仅仅以重构为目标的前提下提升图嵌入的质量？
• RQ2 与现有图嵌入方法相比，ARGA 和 ARVGA 是否能生成有助于提高链接预测、聚类和可视化的嵌入？
• RQ3 通过 GCN 同时结合图结构和节点内容对后续的无监督任务有怎样的影响？
• RQ4 使用变分编码器（ARVGA）与标准图自编码器（ARGA）相比，效果有何不同？

主要发现

数据集	AUC（Cora）	AP（Cora）	AUC（Citeseer）	AP（Citeseer）	AUC（PubMed）	AP（PubMed）
ARGE	92.4 ± 0.003	93.2 ± 0.003	91.9 ± 0.003	93.0 ± 0.003	96.8 ± 0.001	97.1 ± 0.001
ARVGE	92.4 ± 0.004	92.6 ± 0.004	92.4 ± 0.003	93.0 ± 0.003	96.5 ± 0.001	96.8 ± 0.001

• ARGA 与 ARVGA 在基准图上实现高水平的链接预测性能，Cora、Citeseer、PubMed 数据集的 AP 和 AUC 分数约为 92%。
• 在聚类方面，ARGA/ARVGA 在 Cora 和 Citeseer 上显著提升了 Acc、NMI、F1、Precision 和 ARI 相对于基线。
• 学习嵌入的可视化（t-SNE）显示相较基线，ARGA/ARVGA 的布局更具意义。
• 与 VGAE 和 GAE 变体相比，ARGA/ARVGA 在链接预测和聚类任务上显著优于基线（见表2和表3-4）。
• 表2 报告数据集范围内的 AUC 和 AP 相对于基线的提升（例如在 PubMed：ARGA AUC 96.8，ARGA AP 97.1；ARVGA AUC 96.5，ARVGA AP 96.8）。