[论文解读] Community-Invariant Graph Contrastive Learning

Shiyin Tan, Dongyuan Li+3 more|arXiv (Cornell University)|May 2, 2024

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出CI-GCL，一种可学习的图对比学习框架，通过在拓扑空间和特征空间中最大化谱变化，保持增强过程中的社区结构。通过利用谱优化将拓扑和特征增强统一于一种社区不变约束下，CI-GCL提升了模型的鲁棒性，并在21个基准数据集上实现了最先进性能。

ABSTRACT

Graph augmentation has received great attention in recent years for graph contrastive learning (GCL) to learn well-generalized node/graph representations. However, mainstream GCL methods often favor randomly disrupting graphs for augmentation, which shows limited generalization and inevitably leads to the corruption of high-level graph information, i.e., the graph community. Moreover, current knowledge-based graph augmentation methods can only focus on either topology or node features, causing the model to lack robustness against various types of noise. To address these limitations, this research investigated the role of the graph community in graph augmentation and figured out its crucial advantage for learnable graph augmentation. Based on our observations, we propose a community-invariant GCL framework to maintain graph community structure during learnable graph augmentation. By maximizing the spectral changes, this framework unifies the constraints of both topology and feature augmentation, enhancing the model's robustness. Empirical evidence on 21 benchmark datasets demonstrates the exclusive merits of our framework. Code is released on Github (https://github.com/ShiyinTan/CI-GCL.git).

研究动机与目标

• 为解决现有图对比学习方法在随机或基于知识的增强过程中破坏社区结构的局限性。
• 在单一、稳健的约束下统一拓扑和特征增强，以保持图的高层社区结构。
• 开发一种自适应、可微且高效的可学习增强框架，适用于多样化图数据集。
• 从理论和实证上验证：最大化谱变化可同时在拓扑和特征空间中保持社区不变性。

提出的方法

• 通过最大化图拉普拉斯矩阵的谱变化来强制在拓扑增强过程中保持社区不变性，利用谱变化与社区破坏之间的负相关性。
• 在特征增强中，通过共聚类将特征矩阵转换为对称的二部矩阵，从而在特征扰动上施加基于谱的约束。
• 对拓扑和二部特征增强同时应用统一的谱变化损失，确保社区结构的保持。
• 利用归一化拉普拉斯矩阵的最小特征值来约束社区结构，并通过理论证明将特征值与社区划分联系起来。
• 该框架端到端可微，支持高效的反向传播，实现增强与表征学习的联合优化。
• 通过最大化谱变化来强制实现社区不变性，从而在数据增强过程中间接保持底层社区结构。

实验结果

研究问题

• RQ1 在图增强过程中最大化谱变化是否能够同时在拓扑和特征空间中保持底层社区结构？
• RQ2 如何设计一种统一约束，以在可学习图对比学习框架中同时处理拓扑和特征增强？
• RQ3 通过谱优化强制实现社区不变性是否能提升模型在多样化图数据集上的鲁棒性和泛化能力？
• RQ4 能否通过二部共聚类将基于谱的约束有效扩展至特征增强？

主要发现

• CI-GCL在21个基准图数据集上实现了最先进性能，在节点分类和链接预测任务中优于现有方法。
• 由于在拓扑和特征增强上均采用统一的、社区不变的约束，该框架对各类噪声表现出卓越的鲁棒性。
• 实证结果表明，最大化谱变化与社区结构的保留高度相关，验证了核心理论假设。
• 该方法在多样化数据集（包括引文网络、生物图和社交网络）上均实现了稳定提升，证实了其泛化能力。
• 消融实验表明，基于谱的约束在保持社区不变性方面优于仅基于特征或仅基于拓扑的约束。