[论文解读] Motif-Driven Contrastive Learning of Graph Representations

Shichang Zhang, Ziniu Hu+2 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Graph Neural Networks参考文献 36被引用 15

一句话总结

该论文提出 MICRO-Graph，一种基于基元的对比学习框架，通过图神经网络嵌入的子图聚类实现可微基元学习，生成语义上合理的子图，用于图级别的对比预训练。通过利用学习到的基元指导子图采样，该方法在下游分子性质预测任务中相比最先进自监督基线模型，平均 AUC-ROC 提升 2.04%。

ABSTRACT

Pre-training Graph Neural Networks (GNN) via self-supervised contrastive learning has recently drawn lots of attention. However, most existing works focus on node-level contrastive learning, which cannot capture global graph structure. The key challenge to conducting subgraph-level contrastive learning is to sample informative subgraphs that are semantically meaningful. To solve it, we propose to learn graph motifs, which are frequently-occurring subgraph patterns (e.g. functional groups of molecules), for better subgraph sampling. Our framework MotIf-driven Contrastive leaRning Of Graph representations (MICRO-Graph) can: 1) use GNNs to extract motifs from large graph datasets; 2) leverage learned motifs to sample informative subgraphs for contrastive learning of GNN. We formulate motif learning as a differentiable clustering problem, and adopt EM-clustering to group similar and significant subgraphs into several motifs. Guided by these learned motifs, a sampler is trained to generate more informative subgraphs, and these subgraphs are used to train GNNs through graph-to-subgraph contrastive learning. By pre-training on the ogbg-molhiv dataset with MICRO-Graph, the pre-trained GNN achieves 2.04% ROC-AUC average performance enhancement on various downstream benchmark datasets, which is significantly higher than other state-of-the-art self-supervised learning baselines.

研究动机与目标

• 解决图神经网络中子图级别对比学习生成语义上合理子图的挑战。
• 克服节点级别对比学习无法捕捉全局图结构的局限性。
• 实现在具有连续高维节点特征的大规模图中可微基元学习。
• 通过将基元引导的子图采样与图到子图的对比学习相结合，提升 GNN 预训练性能。
• 证明基于基元的子图生成在分子图基准上能带来更优的下游性能。

提出的方法

• 将基元学习建模为使用 EM 算法的可微聚类问题，将相似的子图嵌入聚类为原型基元。
• 通过 GNN 编码器采样子图，并利用连续嵌入将子图聚类为基元，支持端到端训练。
• 训练一个基元引导的采样器，生成在结构和语义上与学习到的基元对齐的子图。
• 通过比较来自同一图但不同基元样子图的上下文嵌入，执行图到子图的对比学习。
• 应用谱正则化，确保采样的子图保持连通且结构一致。
• 该框架与 GNN 架构无关，支持多种架构，如 GCN、GIN 和 DeeperGCN。

实验结果

研究问题

• RQ1 可微基元学习能否提升图表示学习中子图采样的质量？
• RQ2 与随机采样或局部采样相比，基元引导的子图生成是否能在对比预训练中带来更好的性能？
• RQ3 学习到的基元数量如何影响分子性质预测中的下游性能？
• RQ4 基于基元的对比学习能否在多种 GNN 架构上实现泛化？
• RQ5 上下文嵌入在多大程度上增强了子图级别对比学习？

主要发现

• 与非预训练 GNN 相比，MICRO-Graph 在七个下游分子性质预测基准上实现了平均 2.04% 的 AUC-ROC 提升。
• 将基元引导采样替换为随机游走或 k-跳采样，分别导致性能下降 5.64% 和 4.99%，证明了语义子图生成的重要性。
• 移除谱正则化导致性能下降 1.82%，表明其在保持子图连通性和泛化能力方面的重要作用。
• 使用基元样子图的子图到子图对比学习性能低于图到子图学习，可能是因为跨图的结构相似性导致虚假负样本对。
• 该框架在 GCN、GIN 和 DeeperGCN 上均一致提升性能，其中 DeeperGCN 因其表达能力最强，提升幅度最大。
• 可视化结果表明，学习到的基元对应于化学上有意义的功能团，如苯环和乙酸盐，验证了所学模式的语义相关性。