[论文解读] Deep Graph Contrastive Representation Learning
GRACE 通过在两个被破坏的图视图中对比节点表示来学习无监督的节点嵌入，优于以往方法，甚至在传导任务上接近有监督方法的水平。
Graph representation learning nowadays becomes fundamental in analyzing graph-structured data. Inspired by recent success of contrastive methods, in this paper, we propose a novel framework for unsupervised graph representation learning by leveraging a contrastive objective at the node level. Specifically, we generate two graph views by corruption and learn node representations by maximizing the agreement of node representations in these two views. To provide diverse node contexts for the contrastive objective, we propose a hybrid scheme for generating graph views on both structure and attribute levels. Besides, we provide theoretical justification behind our motivation from two perspectives, mutual information and the classical triplet loss. We perform empirical experiments on both transductive and inductive learning tasks using a variety of real-world datasets. Experimental experiments demonstrate that despite its simplicity, our proposed method consistently outperforms existing state-of-the-art methods by large margins. Moreover, our unsupervised method even surpasses its supervised counterparts on transductive tasks, demonstrating its great potential in real-world applications.
研究动机与目标
- 在不依赖图近邻重构或注入式读出约束的前提下，激发无监督图表示学习的动机。
- 提出一个节点级对比框架，在两个被破坏的图视图之间最大化一致性。
- 通过拓扑结构和属性破坏（边移除和特征掩蔽）开发双视图生成。
- 提供与互信息（InfoMax）和三元组损失框架的理论联系。
- 在多个数据集上对传导和归纳节点分类进行经验验证。
提出的方法
- 使用 GNN 编码器从两个被破坏的图视图中生成节点嵌入。
- 通过移除边（结构破坏）和掩蔽特征（属性破坏）来生成两个视图。
- 应用对比损失，将不同视图中对应的节点嵌入拉近，同时将其他所有节点嵌入推远。
- 使用双层 MLP 投影 g 获得节点对之间的判别分数。
- 在所有节点上对比学习目标进行平均优化，而不依赖显式的图级读出。
实验结果
研究问题
- RQ1两个图视图上的节点级对比学习能否产生强大的无监督节点表示？
- RQ2两种腐败策略（结构破坏和特征掩蔽）是否提供多样化的上下文以提升学习？
- RQ3GRACE 与互信息最大化和三元组损失框架之间的关系？
- RQ4与现有的无监督和有监督方法相比，GRACE 在标准的传导和归纳图数据集上的表现如何？
主要发现
| 方法 | 训练数据 | Cora | Citeseer | Pubmed | DBLP | PPI | |
|---|---|---|---|---|---|---|---|
| 原始特征 | X | 64.8 | 64.6 | 84.8 | 71.6 | 58.5 | 42.2 |
| node2vec | A | 74.8 | 52.3 | 80.3 | 78.8 | — | — |
| DeepWalk | A | 75.7 | 50.5 | 80.5 | 75.9 | 32.4 | — |
| DeepWalk + 特征 | X,A | 73.1 | 47.6 | 83.7 | 78.1 | 69.1 | — |
| GAE | X,A | 76.9 | 60.6 | 82.9 | 81.2 | — | — |
| VGAE | X,A | 78.9 | 61.2 | 83.0 | 81.7 | — | — |
| DGI | X,A | 82.6 ±0.4 | 68.8 ±0.7 | 86.0 ±0.1 | 83.2 ±0.1 | 94.0 ±0.1 | 63.8 ±0.2 |
| GRACE | X,A | 83.3 ±0.4 | 72.1 ±0.5 | 86.7 ±0.1 | 84.2 ±0.1 | 94.2 ±0.0 | 66.2 ±0.1 |
| SGC | X,A,Y | 80.6 | 69.1 | 84.8 | 81.7 | — | — |
| GCN | X,A,Y | 82.8 | 72.0 | 84.9 | 82.7 | — | — |
| — | — | — | — | — | — | — | — |
| Inductive 数据集 | |||||||
| DeepWalk | A | — | — | — | — | 32.4 | — |
| DeepWalk + 特征 | X,A | 69.1 | — | — | — | — | — |
| GraphSAGE-GCN | X,A | 90.8 | 46.5 | — | — | — | — |
| GraphSAGE-mean | X,A | 89.7 | 48.6 | — | — | — | — |
| GraphSAGE-LSTM | X,A | 90.7 | 48.2 | — | — | — | — |
| GraphSAGE-pool | X,A | 89.2 | 50.2 | — | — | — | — |
| DGI | X,A | 94.0 ±0.1 | 63.8 ±0.2 | — | — | 94.0 ±0.1 | 63.8 ±0.2 |
| GRACE | X,A | 94.2 ±0.0 | 66.2 ±0.1 | — | — | 94.2 ±0.0 | 66.2 ±0.1 |
| FastGCN | X,A,Y | 93.7 | — | — | — | — | — |
| GaAN-mean | X,A,Y | 95.8 ±0.1 | 96.9 ±0.2 | — | — | — | — |
- GRACE 在六个数据集上成为无监督方法中的最先进或具有竞争力的结果。
- 在传导任务上，GRACE 超越了 DGI 等基线，并且在若干数据集上能够与有监督模型（如 GCN、SGC）不相上下。
- 在归纳任务上，GRACE 优于大多数基线，并在 Reddit 与 PPI 数据集上接近或达到有监督的表现。
- 理论分析表明 GRACE 最大化了输入特征与两视图之间节点嵌入之间的互信息下界，并与三元组损失框架相关。
- GRACE 对稀疏特征仍具鲁棒性，且同时受益于拓扑和特征层面的腐败。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。