[论文解读] Contrastive Multi-View Representation Learning on Graphs

Kaveh Hassani, Amir Hosein Khasahmadi|arXiv (Cornell University)|Jun 10, 2020

Advanced Graph Neural Networks参考文献 51被引用 381

一句话总结

本论文提出一种自监督方法，通过对比图的两种结构视角（邻接和扩散）来学习节点和图表示，在线性评估下在8/8个节点和图分类基准上达到最先进结果。

ABSTRACT

We introduce a self-supervised approach for learning node and graph level representations by contrasting structural views of graphs. We show that unlike visual representation learning, increasing the number of views to more than two or contrasting multi-scale encodings do not improve performance, and the best performance is achieved by contrasting encodings from first-order neighbors and a graph diffusion. We achieve new state-of-the-art results in self-supervised learning on 8 out of 8 node and graph classification benchmarks under the linear evaluation protocol. For example, on Cora (node) and Reddit-Binary (graph) classification benchmarks, we achieve 86.8% and 84.5% accuracy, which are 5.5% and 2.4% relative improvements over previous state-of-the-art. When compared to supervised baselines, our approach outperforms them in 4 out of 8 benchmarks. Source code is released at: https://github.com/kavehhassani/mvgrl

研究动机与目标

• 在不使用标签的情况下，通过跨结构视图的自监督对比学习来激发图表示的学习。
• 提出一个两视图图对比框架，利用邻接视图和扩散视图来捕捉局部和全局结构。
• 证明两种视图优于多视图和其他编码，并识别能最大化性能的组成部分。
• 在节点和图分类基准上进行线性评估和聚类协议的评估。

提出的方法

• 通过将邻接矩阵转换为扩散矩阵并对子采样节点，生成每个图的两个一致的结构视图。
• 使用两一个别GNN编码器（每个视图一个），再接一个共享的投影头以获得节点表示。
• 对每个视图应用一个读出/池化函数，以从节点嵌入获得图表示。
• 使用一个判别器进行训练，将一个视图的节点表示与另一个视图的图表示对比，反之亦然，以最大化跨视图对之间的互信息。
• 在深度InfoMax框架中，使用选定的MI估计器（NCE, JSD, NT-Xent, 或 DV）来最大化MI。
• 在推断时通过结合来自两视图的节点与图嵌入来推断表征。

实验结果

研究问题

• RQ1 图上的自监督学习是否能通过在两个结构视图（邻接 vs 扩散）之间进行对比，而不是多视图或多尺度编码，来获得收益？
• RQ2 哪些组件（MI估计器、对比模式、视图选择）对节点和图分类性能影响最大？
• RQ3 相较于像DiffPool这样的池化方法，简单的读出层是否足以获得图表示？
• RQ4 两视图对比表征与标准节点和图分类基线的监督学习相比表现如何？

主要发现

• 该方法在线性评估下，在8/8的节点与图分类基准上取得最先进的结果。
• 在 Cora 节点分类上，该方法达到 86.8% 的准确率，相较于之前的 SOTA 提升 5.5% 的相对改进。
• 在 Reddit-Binary 图分类上，该方法达到 84.5% 的准确率，相较于之前的 SOTA 提升 2.4% 的相对改进。
• 与监督基线相比，该方法在某些基准上表现更好（例如，在 Cora 和 IMDB-Binary 上，分别相对提升约 4.5% 和 5.3%）。
• 通过对比来自一阶邻居和图扩散的编码达到最佳性能，且两个视图优于两视图以上或其他编码。
• 简单的图读出层比像 DiffPool 这样的层次化池化方法取得更好结果，额外的正则化或归一化可能会降低性能。