[论文解读] GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction

Yucheng Shi, Yushun Dong+3 more|arXiv (Cornell University)|Aug 18, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

GiGaMAE 提出了一种可泛化的图掩码自编码器，通过协同重建同时编码图结构和节点特征的联合潜在表征，利用基于互信息的损失函数分离专属知识与共享知识，从而增强表征学习。该方法在七个基准数据集上的多个图学习任务中均取得了最先进性能。

ABSTRACT

Self-supervised learning with masked autoencoders has recently gained popularity for its ability to produce effective image or textual representations, which can be applied to various downstream tasks without retraining. However, we observe that the current masked autoencoder models lack good generalization ability on graph data. To tackle this issue, we propose a novel graph masked autoencoder framework called GiGaMAE. Different from existing masked autoencoders that learn node presentations by explicitly reconstructing the original graph components (e.g., features or edges), in this paper, we propose to collaboratively reconstruct informative and integrated latent embeddings. By considering embeddings encompassing graph topology and attribute information as reconstruction targets, our model could capture more generalized and comprehensive knowledge. Furthermore, we introduce a mutual information based reconstruction loss that enables the effective reconstruction of multiple targets. This learning objective allows us to differentiate between the exclusive knowledge learned from a single target and common knowledge shared by multiple targets. We evaluate our method on three downstream tasks with seven datasets as benchmarks. Extensive experiments demonstrate the superiority of GiGaMAE against state-of-the-art baselines. We hope our results will shed light on the design of foundation models on graph-structured data. Our code is available at: https://github.com/sycny/GiGaMAE.

研究动机与目标

• 解决现有图掩码自编码器在多样化下游任务中泛化能力有限的问题。
• 克服由于图结构与特征等异质模态固有不兼容性而带来的异质图模态（拓扑与特征）重建挑战。
• 设计一种统一的自监督学习目标，以捕捉来自多个重建目标的专属与共享知识。
• 通过学习全面且可泛化的节点表征，无需针对特定任务重新训练，实现有效的迁移学习。
• 证明协同潜在空间重建相较于单模态重建在图表征学习中的优越性。

提出的方法

• 提出 GiGaMAE，一种图掩码自编码器，其通过重建结合结构信息与属性信息的集成潜在表征，而非原始图组件。
• 采用两阶段训练流程：首先预训练目标模型（如 node2vec、PCA）以生成目标表征，随后在这些表征上训练自编码器。
• 引入基于互信息的重建损失，以区分从单一目标学习的知识与在多个目标间共享的知识。
• 利用多元互信息形式化该损失，以平衡个体与联合知识的重建，从而提升表征质量。
• 采用 GAT 作为编码器，多层感知机作为投影头，将输入图映射至潜在表征。
• 在训练过程中掩码节点，并使用协同损失重建潜在空间，从而实现鲁棒且可泛化的特征学习。

实验结果

研究问题

• RQ1 与单模态重建相比，联合潜在表征的协同重建是否能提升图表征学习中的泛化能力？
• RQ2 基于互信息的损失如何增强模型捕捉多图模态中专属与共享知识的能力？
• RQ3 GiGaMAE 在节点分类、链接预测与节点聚类等多样化下游任务中的泛化程度如何？
• RQ4 在多个真实世界图数据集上，GiGaMAE 的性能与当前最先进基线相比如何？
• RQ5 与现有自监督图模型相比，该方法的计算成本如何？

主要发现

• GiGaMAE 在七个基准数据集上的所有三项下游任务——节点分类、链接预测与节点聚类——中均取得了最先进性能。
• 该模型优于 GraphMAE 和 VGAE 等强基线模型，展现出在多样化任务中的卓越泛化能力。
• 大量消融实验表明，基于互信息的损失能有效捕捉共享与专属知识，从而提升表征质量。
• 潜在表征的协同重建相比单独重建边或特征等组件，能生成更全面、更鲁棒的表征。
• 尽管由于预训练和复杂损失设计，GiGaMAE 的训练时间高于 GraphMAE，但其仍显著快于对比方法 GCA，因为损失计算仅部分使用图结构。
• 该方法在不同规模与稀疏度的数据集上均表现出一致的性能提升，包括 Physics 与 CS 等大规模图。