[论文解读] GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner

Zhenyu Hou, Yufei He+5 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

GraphMAE2 提出了一种增强解码的掩码自监督学习框架，用于图表示学习，通过多视图随机重掩码解码和潜在表示预测，提升了特征重建的鲁棒性。该方法在大规模图上实现了最先进性能，包括在拥有 111M 个节点和 16 亿条边的 ogbn-Papers100M 数据集上相比之前方法提升了 2.45%。

ABSTRACT

Graph self-supervised learning (SSL), including contrastive and generative approaches, offers great potential to address the fundamental challenge of label scarcity in real-world graph data. Among both sets of graph SSL techniques, the masked graph autoencoders (e.g., GraphMAE)--one type of generative method--have recently produced promising results. The idea behind this is to reconstruct the node features (or structures)--that are randomly masked from the input--with the autoencoder architecture. However, the performance of masked feature reconstruction naturally relies on the discriminability of the input features and is usually vulnerable to disturbance in the features. In this paper, we present a masked self-supervised learning framework GraphMAE2 with the goal of overcoming this issue. The idea is to impose regularization on feature reconstruction for graph SSL. Specifically, we design the strategies of multi-view random re-mask decoding and latent representation prediction to regularize the feature reconstruction. The multi-view random re-mask decoding is to introduce randomness into reconstruction in the feature space, while the latent representation prediction is to enforce the reconstruction in the embedding space. Extensive experiments show that GraphMAE2 can consistently generate top results on various public datasets, including at least 2.45% improvements over state-of-the-art baselines on ogbn-Papers100M with 111M nodes and 1.6B edges.

研究动机与目标

• 解决图自监督学习中掩码特征重建对低判别性节点特征的脆弱性问题。
• 通过正则化解码过程，提升图自编码器的鲁棒性和泛化能力。
• 克服对输入特征判别性的依赖，从而在具有噪声或非判别性特征的真实世界图中提升性能。
• 通过引入随机性和嵌入空间中预测监督的新颖解码策略，提升重建质量。
• 在无需复杂数据增强或负采样的情况下，实现在大规模图基准上的最先进性能。

提出的方法

• 引入多视图随机重掩码解码，即在解码过程中多次对掩码节点的编码嵌入进行随机重掩码，以减少对输入特征的过拟合。
• 提出潜在表示预测作为正则化信号，即在重建过程中预测模型自身学习到的节点嵌入。
• 结合两种解码策略，强制重建特征与模型内部表示之间的一致性。
• 使用标准 GNN 编码器和可学习解码器来重建掩码特征，重建损失通过端到端方式优化。
• 保持掩码自编码器范式，但在解码阶段引入随机性和预测监督，以提升泛化能力。
• 使用重建目标进行模型训练，该目标同时利用原始掩码特征和预测的潜在表示作为监督信号。

Figure 1. Linear probing results on ogbn-Products and ogbn-Papers100M. GraphMAE2 achieves a significant advantage over previous graph SSL methods on benchmarks with millions of nodes.

实验结果

研究问题

• RQ1 在重建过程中引入随机性是否能提升掩码图自编码器对非判别性节点特征的鲁棒性？
• RQ2 在解码过程中预测模型自身的潜在表示是否能增强特征重建质量与下游性能？
• RQ3 与固定重掩码解码相比，所提出的解码策略在大规模图上的泛化能力和性能表现如何？
• RQ4 解码阶段的正则化在多大程度上能减少对输入特征判别性的依赖？
• RQ5 所提出方法是否能在无需复杂数据增强的情况下，在 ogbn-Papers100M 等大规模基准上实现最先进性能？

主要发现

• GraphMAE2 在 ogbn-Papers100M 上相比之前最先进方法实现了 2.45% 的线性探测准确率绝对提升，该图包含 111M 个节点和 16 亿条边。
• 该模型在多个公开基准上表现出一致的性能提升，包括 ogbn-Products 和 ogbn-Papers100M，优于先前的掩码自编码器和对比方法。
• 多视图随机重掩码解码策略减少了对输入特征的过拟合，提升了泛化能力，尤其在特征非判别性时效果更明显。
• 潜在表示预测提供了更稳定且信息量更丰富的重建目标，从而带来更好的下游性能。
• GraphMAE2 在无需负样本或复杂图增强的情况下实现了最先进结果，简化了训练流程。
• 消融实验确认，两种提出的解码策略均对性能提升有显著贡献，且组合使用效果最佳。

Figure 2. Overview of GraphMAE2 framework. For large-scale graphs, we first run local clustering to produce local clusters for each node as the preprocessing step. During the pre-training, GraphMAE2 corrupts the graph by masking input node features with a mask token [MASK] and then feeds the result