[论文解读] Learning Invariant Representations of Graph Neural Networks via Cluster Generalization

Donglin Xia, Xiao Wang+2 more|arXiv (Cornell University)|Mar 6, 2024

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出一种即插即用机制——聚类信息迁移（Cluster Information Transfer, CIT），通过在节点间传递聚类级统计信息（均值与方差）同时保留聚类无关特征，提升图神经网络对图结构变化的鲁棒性。该方法在多种未知测试图结构下实现了泛化性能的持续提升，实证结果表明在不同结构变化场景中均表现出一致的性能增益。

ABSTRACT

Graph neural networks (GNNs) have become increasingly popular in modeling graph-structured data due to their ability to learn node representations by aggregating local structure information. However, it is widely acknowledged that the test graph structure may differ from the training graph structure, resulting in a structure shift. In this paper, we experimentally find that the performance of GNNs drops significantly when the structure shift happens, suggesting that the learned models may be biased towards specific structure patterns. To address this challenge, we propose the Cluster Information Transfer (CIT) mechanism (Code available at https://github.com/BUPT-GAMMA/CITGNN), which can learn invariant representations for GNNs, thereby improving their generalization ability to various and unknown test graphs with structure shift. The CIT mechanism achieves this by combining different cluster information with the nodes while preserving their cluster-independent information. By generating nodes across different clusters, the mechanism significantly enhances the diversity of the nodes and helps GNNs learn the invariant representations. We provide a theoretical analysis of the CIT mechanism, showing that the impact of changing clusters during structure shift can be mitigated after transfer. Additionally, the proposed mechanism is a plug-in that can be easily used to improve existing GNNs. We comprehensively evaluate our proposed method on three typical structure shift scenarios, demonstrating its effectiveness in enhancing GNNs' performance.

研究动机与目标

• 为解决真实图中常见的分布偏移形式——图结构变化导致的GNN性能下降问题。
• 开发一种方法，使GNN能够学习在推理阶段对图拓扑变化具有鲁棒性的不变表征。
• 提供一种与现有GNN架构兼容的即插即用解决方案，实现泛化性能提升而无需对网络结构进行大规模修改。
• 从理论和实证两方面验证：聚类信息迁移可缓解结构变化过程中聚类分配改变的影响。

提出的方法

• 应用GNN学习初始节点表征，随后利用谱聚类识别图中的聚类结构。
• 使用两个统计量（聚类均值与聚类方差）表征每个聚类，作为可迁移的信息。
• 通过基于这些统计量重新分配节点，实现节点向新聚类的迁移，同时保留其内在的、与聚类无关的特征。
• 在新生成的节点表征上训练GNN，以提升在不同聚类配置下的泛化能力。
• 将CIT机制作为即插即用的模块层，可对多种GNN模型进行最小修改后集成。
• 理论分析表明，信息迁移后，推理阶段聚类变化的影响被有效缓解，从而支持模型的鲁棒性。

实验结果

研究问题

• RQ1 当测试图结构与训练图结构不同时，GNN能否保持稳定性能？
• RQ2 如何在GNN中学习不变表征以提升结构变化下的鲁棒性？
• RQ3 聚类级统计量能否有效用于生成多样化的训练环境，以提升泛化能力？
• RQ4 CIT机制在多大程度上可减少因图结构变化导致的性能下降？

主要发现

• 标准GNN在结构变化下性能显著下降，表明其对特定图结构存在强烈偏好。
• CIT机制在三种典型结构变化场景（包括边的增减）中均一致提升了GNN性能。
• 模型准确率与聚类质量（以轮廓系数衡量）密切相关，表明有效聚类可增强CIT性能。
• 该方法对超参数（如聚类数量和迁移概率）具有鲁棒性，在不同配置下均表现稳定。
• 理论分析证实，通过CIT进行信息迁移后，结构变化期间聚类变化的影响被有效缓解。
• CIT机制是一种即插即用的增强方法，可无需修改网络架构地应用于多种GNN模型。