[论文解读] Adversarial Network Embedding

Quanyu Dai, Qiang Li+2 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Graph Neural Networks参考文献 30被引用 68

一句话总结

本文提出对抗网络嵌入（ANE），一个将结构保持的归纳式 DeepWalk 变体与对抗学习组件相结合的框架，用于正则化并为网络产生鲁棒的节点嵌入。

ABSTRACT

Learning low-dimensional representations of networks has proved effective in a variety of tasks such as node classification, link prediction and network visualization. Existing methods can effectively encode different structural properties into the representations, such as neighborhood connectivity patterns, global structural role similarities and other high-order proximities. However, except for objectives to capture network structural properties, most of them suffer from lack of additional constraints for enhancing the robustness of representations. In this paper, we aim to exploit the strengths of generative adversarial networks in capturing latent features, and investigate its contribution in learning stable and robust graph representations. Specifically, we propose an Adversarial Network Embedding (ANE) framework, which leverages the adversarial learning principle to regularize the representation learning. It consists of two components, i.e., a structure preserving component and an adversarial learning component. The former component aims to capture network structural properties, while the latter contributes to learning robust representations by matching the posterior distribution of the latent representations to given priors. As shown by the empirical results, our method is competitive with or superior to state-of-the-art approaches on benchmark network embedding tasks.

研究动机与目标

• 在噪声和不确定性下，推动鲁棒的低维网络表示。
• 开发一种对抗正则化器，在保持网络结构的同时对嵌入施加先验约束。
• 提出一个归纳的、带参数的结构保持组件，以实现用神经网络进行学习。
• 展示对抗正则化在基准数据集上相对于强基线提高鲁棒性和判别能力。

提出的方法

• 提出含有两个组成部分的 ANE：一个结构保持模块和一个对抗学习模块。
• 使用 DeepWalk 的归纳变体（IDW）作为结构保持模型，其中参数化的生成器 G(x;θ1) 产生节点嵌入，背景生成器 F(x;θ1') 产生背景嵌入。
• 用一个移动后的正点互信息矩阵 (PPMI) X 作为输入特征，用来捕捉高阶邻近性，预处理图结构以供生成器使用。
• 在对抗组件中，使用与结构保持部分共享的生成器 G(·;θ1) 和判别器 D(·;θ2)；先验 p(z) 对嵌入施加分布，而生成器旨在将样本映射到该先验。
• 将对抗学习框架为一个极小极大博弈，目标函数为 O_D（判别器）和 O_G（生成器），鼓励嵌入向量更像来自先验分布的样本。
• 尝试两种实例：AIDW（IDW + 对抗正则化）和 ADAE（带去噪结构的对抗自编码器）。
• 训练分两阶段：基于 IDW 的结构保持目标的优化阶段，以及对抗阶段，其中判别器学习区分先验样本与嵌入的区别，生成器调整以骗过判别器。

实验结果

研究问题

• RQ1 对抗正则化是否在超越标准结构保持方法的同时提高了网络嵌入的质量和鲁棒性？
• RQ2 将归纳、带参数的结构保持模块与对抗先验正则化结合，是否能在节点分类和可视化任务中超越强基线？
• RQ3 不同先验（均匀分布 vs 高斯分布）以及模型选择（AIDW vs ADAE）如何影响鲁棒性和性能？
• RQ4 所学习的嵌入在多数据集的下游任务（如多类节点分类）中是否更具判别性和可分离性？

主要发现

• AIDW 在 Cora、Citeseer 和 Wiki 上在不同标注数据条件下始终优于基线方法（如 DeepWalk、LINE、GraRep、node2vec）。
• ADAE 相对于其去噪自编码器骨干网取得适度提升，在多个数据集上有鲁棒性优势，尽管对基于 ADW 的变体提升更明显。
• 对抗正则化提升了可视化的分离度，在 t-SNE 图中产生更清晰的簇集和线性可分的社区，相较于基线。
• 在大多数训练比例下，AIDW 模型在所有三个基准数据集上取得最佳分类精度，超过包括 node2vec 在内的基线。
• 参数敏感性分析显示对游走长度和上下文大小具有鲁棒性，维度提升能带来性能提升，直到约 128 维达到饱和点。