[论文解读] From Canonical Correlation Analysis to Self-supervised Graph Neural Networks

Hengrui Zhang, Qitian Wu+3 more|arXiv (Cornell University)|Jun 23, 2021

Advanced Graph Neural Networks被引用 96

一句话总结

CCA-SSG 引入一种非对比、特征层面的自监督图表示学习目标，通过典型相关分析对齐两个增强视图，同时对特征维度进行去相关，在没有负样本或互信息估计量的情况下，在若干节点分类基准测试上达到甚至超越最先进的方法。

ABSTRACT

We introduce a conceptually simple yet effective model for self-supervised representation learning with graph data. It follows the previous methods that generate two views of an input graph through data augmentation. However, unlike contrastive methods that focus on instance-level discrimination, we optimize an innovative feature-level objective inspired by classical Canonical Correlation Analysis. Compared with other works, our approach requires none of the parameterized mutual information estimator, additional projector, asymmetric structures, and most importantly, negative samples which can be costly. We show that the new objective essentially 1) aims at discarding augmentation-variant information by learning invariant representations, and 2) can prevent degenerated solutions by decorrelating features in different dimensions. Our theoretical analysis further provides an understanding for the new objective which can be equivalently seen as an instantiation of the Information Bottleneck Principle under the self-supervised setting. Despite its simplicity, our method performs competitively on seven public graph datasets. The code is available at: https://github.com/hengruizhang98/CCA-SSG.

研究动机与目标

• 为图给出一个简单的 SSL 方案，避免复杂的对比设计和负样本。
• 提出一个受 Canonical Correlation Analysis 启发的自监督目标用于图表示。
• 证明去相关特征维度可防止维数崩溃并与信息瓶颈原则相关联。
• 提供理论洞见及在多个图数据集上的经验证据。

提出的方法

• 对同一输入图生成两个经随机图增强得到的视图。
• 使用共享的 GNN 编码器获得两个视图的嵌入。
• 对嵌入进行归一化并计算视图之间的不变损失。
• 增加一个去相关损失，将跨视图的特征协方差推向单位矩阵。
• 对不变项与去相关项的和进行优化，权衡参数 lambda。
• 在 SSL 设置下可选地将该方法与信息瓶颈联系起来。

实验结果

研究问题

• RQ1 非对比、特征层面的目标是否能优于用于图的对比 SSL 方法？
• RQ2 去相关特征维度是否能防止崩溃并提高图的 SSL 表征质量？
• RQ3 在自监督图设置中，CCA-SSG 如何与信息瓶颈原则相关？
• RQ4 与现有 SSL 方法相比，CCA-SSG 在标准节点分类基准上的经验性能如何？

主要发现

• CCA-SSG 在七个节点分类基准上取得具有竞争力或更高的准确率，在多个数据集上超越若干基线。
• 该方法不需要负样本、也不需要参数化的互信息估计量、投影器/预测器，也不需要非对称结构。
• 不变项保持对增强的鲁棒信息，而去相关项通过去相关特征维度来防止维数崩溃。
• 理论分析表明，该目标在自监督学习下对应信息瓶颈原则的一个实现。
• 消融研究显示不变性与去相关性都是必要的，去相关性防止崩溃，不变性驱动性能。
• 嵌入维度和超参数 lambda 会影响性能，较大的 D 有助于提升到一定程度，恰当的 lambda 可以平衡两者。