[论文解读] Deepened Graph Auto-Encoders Help Stabilize and Enhance Link Prediction

Xinxing Wu, Qiang Cheng|arXiv (Cornell University)|Mar 21, 2021

Advanced Graph Neural Networks参考文献 39被引用 6

一句话总结

本文提出深度图自编码器（DGAE），通过将标准自编码器（AE）整合到图自编码器（GAE）架构中，实现深层残差学习，联合建模节点特征与图结构，从而稳定并提升链接预测性能。该方法通过可学习的残差连接表达不同阶数的多项式滤波器，在多个数据集上实现最先进性能。

ABSTRACT

Graph neural networks have been used for a variety of learning tasks, such as link prediction, node classification, and node clustering. Among them, link prediction is a relatively under-studied graph learning task, with current state-of-the-art models based on one- or two-layer of shallow graph auto-encoder (GAE) architectures. In this paper, we focus on addressing a limitation of current methods for link prediction, which can only use shallow GAEs and variational GAEs, and creating effective methods to deepen (variational) GAE architectures to achieve stable and competitive performance. Our proposed methods innovatively incorporate standard auto-encoders (AEs) into the architectures of GAEs, where standard AEs are leveraged to learn essential, low-dimensional representations via seamlessly integrating the adjacency information and node features, while GAEs further build multi-scaled low-dimensional representations via residual connections to learn a compact overall embedding for link prediction. Empirically, extensive experiments on various benchmarking datasets verify the effectiveness of our methods and demonstrate the competitive performance of our deepened graph models for link prediction. Theoretically, we prove that our deep extensions inclusively express multiple polynomial filters with different orders.

研究动机与目标

• 解决当前最先进链接预测模型的局限性，即依赖浅层GAE且无法从深层架构中获益。
• 克服增加GAE深度后链接预测性能下降的问题，该现象与过平滑和泛化能力差有关。
• 开发一种深层GAE架构，有效利用邻接矩阵和节点特征中的多尺度信息。
• 通过理论证明，表明该深层模型可包含不同阶数的多项式滤波器，从而具备更强的表达能力。
• 在多样化的真实世界数据集上实证验证所提方法，证明其在稳定性与性能上均优于浅层GAE。

提出的方法

• 将标准自编码器（AE）集成到GAE的编码器中，从节点特征与邻接矩阵的联合嵌入中提取低维紧凑表示。
• 从图结构与节点特征的低保真度联合嵌入中构建残差连接，实现深层训练而无性能退化。
• 在残差连接中引入可学习的组合系数，使模型能够学习不同阶数多项式滤波器的有效组合。
• 通过在跳跃连接中加入单位矩阵，采用正则化技术以稳定训练并提升泛化能力。
• 采用深度架构，最多达72层，使模型能够捕捉浅层GAE无法实现的高阶邻域依赖关系。
• 采用端到端联合优化框架，同时训练标准AE与图AE，以共同嵌入结构与特征信息。

实验结果

研究问题

• RQ1 是否可以通过加深图自编码器架构，稳定并提升链接预测性能，从而克服标准深层GAE中观察到的性能退化？
• RQ2 如何有效将标准自编码器集成到GAE中，以增强链接预测的表征学习能力？
• RQ3 所提出的深层架构是否能表达不同阶数的多项式滤波器，从而捕捉多尺度图信息？
• RQ4 来自联合嵌入的节点与边特征的残差连接是否能提升泛化能力并防止深层GAE中的过平滑？
• RQ5 所提方法在具有不同稀疏性与结构的多样化真实世界图数据集上是否具备鲁棒性？

主要发现

• 所提出的DGAE模型在链接预测任务中表现优异，AUC与平均精度（AP）在多个数据集上持续优于标准浅层GAE。
• 在Cora数据集上，36层DGAE αβ的轮廓系数为0.169，NMI为0.482，显著优于36层GAE（轮廓系数：-0.045，NMI：0.033）。
• 即使在72层时，该模型仍能稳定链接预测性能，避免了标准GAE在超过两层后AUC下降的问题。
• 理论分析表明，DGAE模型可完整表达阶数从2到k的多项式滤波器，支持多尺度特征学习。
• 通过t-SNE可视化显示，DGAE αβ生成的节点嵌入比标准GAE更具分离性与语义意义，表明其结构表征能力更优。
• 联合使用标准AE与GAE进行联合嵌入，相比单独使用任一模型，能实现更有效的低秩子空间学习。