[论文解读] Distribution-induced Bidirectional Generative Adversarial Network for Graph Representation Learning

Shuai Zheng, Zhenfeng Zhu+4 more|arXiv (Cornell University)|Dec 4, 2019

Advanced Graph Neural Networks参考文献 40被引用 4

一句话总结

本文提出DBGAN，一种基于分布诱导的双向生成对抗网络，用于图表示学习。该方法通过原型学习估计结构感知先验分布，实现鲁棒且判别性强的节点表示。通过在图空间与潜在空间之间实施双向对抗学习，DBGAN在链接预测和节点聚类任务中取得优越性能，同时具备更强的泛化能力和维度效率。

ABSTRACT

Graph representation learning aims to encode all nodes of a graph into low-dimensional vectors that will serve as input of many compute vision tasks. However, most existing algorithms ignore the existence of inherent data distribution and even noises. This may significantly increase the phenomenon of over-fitting and deteriorate the testing accuracy. In this paper, we propose a Distribution-induced Bidirectional Generative Adversarial Network (named DBGAN) for graph representation learning. Instead of the widely used normal distribution assumption, the prior distribution of latent representation in our DBGAN is estimated in a structure-aware way, which implicitly bridges the graph and feature spaces by prototype learning. Thus discriminative and robust representations are generated for all nodes. Furthermore, to improve their generalization ability while preserving representation ability, the sample-level and distribution-level consistency is well balanced via a bidirectional adversarial learning framework. An extensive group of experiments are then carefully designed and presented, demonstrating that our DBGAN obtains remarkably more favorable trade-off between representation and robustness, and meanwhile is dimension-efficient, over currently available alternatives in various tasks.

研究动机与目标

• 解决现有图表示方法依赖任意正态分布先验所导致的过拟合与鲁棒性差的问题。
• 通过结构感知方式建模真实数据分布，提升学习到的节点表示的泛化能力与鲁棒性。
• 通过双向对抗学习框架平衡样本级与分布级一致性，以保留图的局部与全局结构。
• 开发一种在保持高表示能力的同时具备维度效率的方法，在低维设置下优于现有方法。

提出的方法

• 用通过图空间与特征空间学习的跨域原型估计的结构感知先验分布，替代标准高斯先验。
• 引入双向对抗框架：生成器将潜在表示映射回图数据，判别器在两个方向上区分真实与生成样本。
• 利用原型学习隐式对齐图空间与特征空间，使模型能够在潜在空间中捕捉结构一致性。
• 通过对抗损失联合训练编码器与生成器，以强制实现分布一致性，并提升对噪声与过平滑的鲁棒性。
• 通过对抗训练平衡多层次一致性（样本与分布），确保个体节点表示与全局数据分布均被保留。
• 应用t-SNE可视化以证明DBGAN在低维空间中保持了类别可分性与邻接关系。

实验结果

研究问题

• RQ1 与标准高斯先验相比，结构感知先验分布估计是否能提升图表示学习的鲁棒性与泛化能力？
• RQ2 潜在空间与图空间之间的双向对抗学习是否能同时提升表示质量与分布一致性？
• RQ3 所提方法在链接预测与节点聚类任务中与最先进方法相比表现如何？
• RQ4 潜在表示的维度在多大程度上影响所提模型的性能？
• RQ5 该模型是否能在无监督条件下保留低维空间中的结构与特征关系？

主要发现

• DBGAN在Cora数据集上链接预测AUC达94.5%，节点聚类NMI达75.9%，优于所有消融变体与基线方法。
• 消融研究显示，若移除双向对抗学习（BAL）或先验分布估计（PDE），性能显著下降，AUC分别降低2.1%与1.5%。
• DBGAN在低维潜在表示（如128维）下仍保持强劲性能，相比需更高维数的方法展现出更优的维度效率。
• 可视化结果表明，DBGAN生成的表示相比GAE、DGI与原始特征，展现出更清晰的类别分离与更小的类内散度。
• 同时包含BAL与PDE的模型在所有指标上表现最佳，证实两者在提升鲁棒性与表示质量方面具有互补作用。
• 随着潜在维度增加，性能持续提升，但DBGAN在低维设置（如64–128维）下仍达到最先进性能，证实其高效性。