[论文解读] MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Mengying Sun, Jing Xing+3 more|arXiv (Cornell University)|Jun 5, 2021

Machine Learning in Materials Science被引用 5

一句话总结

MoCL 提出了一种新颖的分子图对比学习框架，通过整合多层次领域知识——局部层面的语义保持增强指导与全局层面的相似性建模——以提升表征学习效果。该方法通过双对比损失目标，在线性与半监督设置下于多个分子基准数据集上实现了最先进性能。

ABSTRACT

Recent years have seen a rapid growth of utilizing graph neural networks (GNNs) in the biomedical domain for tackling drug-related problems. However, like any other deep architectures, GNNs are data hungry. While requiring labels in real world is often expensive, pretraining GNNs in an unsupervised manner has been actively explored. Among them, graph contrastive learning, by maximizing the mutual information between paired graph augmentations, has been shown to be effective on various downstream tasks. However, the current graph contrastive learning framework has two limitations. First, the augmentations are designed for general graphs and thus may not be suitable or powerful enough for certain domains. Second, the contrastive scheme only learns representations that are invariant to local perturbations and thus does not consider the global structure of the dataset, which may also be useful for downstream tasks. Therefore, in this paper, we study graph contrastive learning in the context of biomedical domain, where molecular graphs are present. We propose a novel framework called MoCL, which utilizes domain knowledge at both local- and global-level to assist representation learning. The local-level domain knowledge guides the augmentation process such that variation is introduced without changing graph semantics. The global-level knowledge encodes the similarity information between graphs in the entire dataset and helps to learn representations with richer semantics. The entire model is learned through a double contrast objective. We evaluate MoCL on various molecular datasets under both linear and semi-supervised settings and results show that MoCL achieves state-of-the-art performance.

研究动机与目标

• 解决通用图增强在生物医学图对比学习中的局限性。
• 通过在局部和全局层面整合特定领域的知识，提升表征学习效果。
• 设计一种在增强过程中保持语义一致性的对比学习框架，同时捕捉全局结构相似性。
• 开发一种双对比损失目标，联合优化局部不变性与全局语义对齐。
• 在真实设置下，评估 MoCL 在多样化分子性质预测任务中的有效性。

提出的方法

• 引入局部层面的领域知识以指导图增强，确保在数据扰动过程中保持语义一致性。
• 利用全局层面的领域知识对数据集中所有图的成对相似性进行建模，捕捉更广泛的结构模式。
• 设计一种双对比损失，同时最大化同一图的增强视图之间的一致性，以及数据集中相似图之间的对齐。
• 利用图神经网络将分子图编码为潜在表征，并通过双重对比损失目标进行优化。
• 在线性与半监督微调设置下应用该框架，以评估下游性能。
• 利用现有分子图数据在无标签数据参与对比阶段的情况下进行预训练，以学习表征。

实验结果

研究问题

• RQ1 在分子图对比学习中，整合局部层面的领域知识是否能提升图增强的质量？
• RQ2 对全局图相似性的建模是否能增强学习表征的语义丰富度？
• RQ3 与标准对比学习相比，双对比损失目标在下游性能上表现如何？
• RQ4 MoCL 在多样化分子图数据集和学习设置下的泛化能力如何？
• RQ5 MoCL 是否能在预训练阶段无需标签数据的情况下实现分子性质预测的最先进性能？

主要发现

• MoCL 在线性与半监督学习设置下，于多个分子图基准数据集上均实现了最先进性能。
• 局部层面领域知识的整合使得图增强更具语义意义且保持一致性。
• 全局层面相似性建模显著提升了表征质量，通过捕捉数据集中更广泛的结构关系。
• 双对比损失目标通过联合优化局部不变性与全局一致性，优于标准对比学习方法。
• MoCL 在多样化分子数据集上表现出强大的泛化能力，表明其具备鲁棒性与可扩展性。
• 即使在标签数据有限的情况下，模型仍表现出卓越性能，凸显了无监督预训练策略的有效性。