[论文解读] Learning Robust Node Representations on Graphs.

Xu Chen, Ya Zhang+2 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Graph Neural Networks参考文献 41被引用 4

一句话总结

本文提出对比图神经网络（CGNN），一种新颖的无监督框架，通过联合优化稳定性、平滑性和可辨识性，提升节点表征的鲁棒性。通过将对比学习目标与现有的GNN主干网络（如GCN、GraphSAGE和GAT）结合，CGNN在半监督和归纳图学习基准上均实现了最先进性能。

ABSTRACT

Graph neural networks (GNN), as a popular methodology for node representation learning on graphs, currently mainly focus on preserving the smoothness and identifiability of node representations. A robust node representation on graphs should further hold the stability property which means a node representation is resistant to slight perturbations on the input. In this paper, we introduce the stability of node representations in addition to the smoothness and identifiability, and develop a novel method called contrastive graph neural networks (CGNN) that learns robust node representations in an unsupervised manner. Specifically, CGNN maintains the stability and identifiability by a contrastive learning objective, while preserving the smoothness with existing GNN models. Furthermore, the proposed method is a generic framework that can be equipped with many other backbone models (e.g. GCN, GraphSage and GAT). Extensive experiments on four benchmarks under both transductive and inductive learning setups demonstrate the effectiveness of our method in comparison with recent supervised and unsupervised models.

研究动机与目标

• 为解决现有图神经网络在输入扰动下缺乏鲁棒性的问题，这些模型对输入变化敏感。
• 形式化并整合稳定性属性——对微小输入变化的抵抗能力——至节点表征学习中。
• 开发一种通用的无监督框架，无需标注数据即可增强鲁棒性。
• 在提升对扰动的抵抗能力的同时，保持节点表征的平滑性和可辨识性。
• 在多种图学习场景中（包括半监督和归纳设置）证明所提方法的有效性。

提出的方法

• 引入一种对比学习目标，促使正样本对（例如同一节点的增强视图）具有相似的表征，同时将负样本对相互推开。
• 通过利用成熟的GNN架构（如GCN、GraphSAGE、GAT）作为消息传递和特征聚合的主干网络，保持表征的平滑性。
• 通过对比学习目标确保不同节点具有可区分的表征，从而保持可辨识性。
• 应用数据增强技术生成对比学习的正样本，例如节点特征掩码或边扰动。
• 使用动量编码器或对称对比学习优化对比损失，以稳定训练过程。
• 将对比学习目标作为正则化项集成在GNN主干网络之上，实现与多种现有GNN模型的兼容性。

实验结果

研究问题

• RQ1 引入稳定性目标是否能提升图神经网络在输入扰动下的节点表征鲁棒性？
• RQ2 所提出的对比学习框架在表征质量方面与现有无监督和监督GNN方法相比如何？
• RQ3 所提方法在不同GNN主干网络（如GCN、GraphSAGE、GAT）上的泛化能力如何？
• RQ4 稳定性、平滑性和可辨识性的结合是否能在半监督和归纳图学习设置中均带来更好的性能？
• RQ5 该方法是否能在无需标注数据的情况下实现最先进性能？

主要发现

• 所提出的CGNN框架在四种基准数据集上，无论在半监督还是归纳学习设置下，均实现了最先进性能。
• CGNN在输入扰动下表现出卓越的鲁棒性，即使在边或特征发生轻微修改时，仍能保持高质量的表征。
• 该方法在多种GNN主干网络（包括GCN、GraphSAGE和GAT）上持续提升性能，证实了其通用适用性。
• 对比学习目标有效增强了稳定性与可辨识性，同时未损害节点表征的平滑性。
• CGNN的无监督特性使其在多个基准上达到或超过监督模型的性能。
• 大量消融实验表明，每个组件（尤其是对比学习目标）对最终性能提升均有显著贡献。