[论文解读] MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning

Xumeng Gong, Cheng Yang+1 more|arXiv (Cornell University)|Dec 14, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出MA-GCL，一种新颖的图对比学习框架，通过操纵视图编码器的架构而非依赖图数据增强或参数扰动，来提升视图多样性。通过引入三种模型增强技巧——非对称、随机和打乱——MA-GCL在6个节点分类基准中的5个上达到最先进性能，相较于强基线模型相对提升最高达2.7%，即使应用于简单基础模型也表现出色。

ABSTRACT

Contrastive learning (CL), which can extract the information shared between different contrastive views, has become a popular paradigm for vision representation learning. Inspired by the success in computer vision, recent work introduces CL into graph modeling, dubbed as graph contrastive learning (GCL). However, generating contrastive views in graphs is more challenging than that in images, since we have little prior knowledge on how to significantly augment a graph without changing its labels. We argue that typical data augmentation techniques (e.g., edge dropping) in GCL cannot generate diverse enough contrastive views to filter out noises. Moreover, previous GCL methods employ two view encoders with exactly the same neural architecture and tied parameters, which further harms the diversity of augmented views. To address this limitation, we propose a novel paradigm named model augmented GCL (MA-GCL), which will focus on manipulating the architectures of view encoders instead of perturbing graph inputs. Specifically, we present three easy-to-implement model augmentation tricks for GCL, namely asymmetric, random and shuffling, which can respectively help alleviate high- frequency noises, enrich training instances and bring safer augmentations. All three tricks are compatible with typical data augmentations. Experimental results show that MA-GCL can achieve state-of-the-art performance on node classification benchmarks by applying the three tricks on a simple base model. Extensive studies also validate our motivation and the effectiveness of each trick. (Code, data and appendix are available at https://github.com/GXM1141/MA-GCL. )

研究动机与目标

• 为解决现有图对比学习（GCL）方法中因编码器相同和数据增强较弱，导致对比视图过于相似的局限性。
• 通过不改变图输入的方式，增加对比视图的多样性，从而减少学习表征中的任务无关噪声。
• 提出一种新范式——模型增强，即有意识地改变视图编码器架构，以提升表征学习效果。
• 验证编码器架构的操纵比扰动图输入或模型参数更有效且更安全。

提出的方法

• 提出一种非对称策略，使用具有不同传播算子数量的两个视图编码器，以过滤高频噪声。
• 采用一种随机策略，在每个训练周期内随机改变传播算子的数量，以丰富训练实例。
• 应用一种打乱策略，通过改变两个视图编码器中传播与变换算子的顺序，生成更安全的增强。
• 将三种模型增强技巧与标准数据增强相结合，实现与现有GNN模型的即插即用式集成。
• 理论上证明，非对称架构可通过改变GNN的谱响应，有效抑制高频噪声。
• 使用MINE估计互信息和下游准确率作为指标，验证视图多样性与语义保留的有效性。

实验结果

研究问题

• RQ1 在GCL中，视图编码器之间的架构差异是否能提升对比视图的多样性并减少任务无关噪声？
• RQ2 通过编码器架构操纵实现的模型增强，是否优于传统的数据增强或参数扰动方法？
• RQ3 单独的模型增强技巧——非对称、随机和打乱——如何分别对GCL的整体性能产生贡献？
• RQ4 所提出的模型增强范式是否与现有GCL框架兼容，且在简单基础模型上依然有效？
• RQ5 架构操纵是否能在提升视图差异性的同时，保留任务相关的语义信息？

主要发现

• MA-GCL在6个节点分类基准中的5个上达到最先进性能，相较于最佳基线模型相对提升最高达2.7%。
• 非对称策略对性能提升贡献最大，平均提升准确率0.86%，其次为随机策略（0.65%）和打乱策略（0.54%）。
• 实验结果表明，仅使用标准数据增强会导致视图间互信息过高且下游准确率低下，表明视图过于相似且存在噪声。
• 参数扰动（PA）显著损害语义质量，表现为互信息低且准确率差，验证了此类方法的风险。
• 消融实验确认，三种模型增强技巧均能独立提升性能，支持其在视图多样性与噪声过滤中的互补作用。