[论文解读] MoCL: Data-driven Molecular Fingerprint via Knowledge-aware Contrastive Learning from Molecular Graph

Mengying Sun, Jing Xing+3 more|arXiv (Cornell University)|Jun 5, 2021

Computational Drug Discovery Methods被引用 9

一句话总结

MoCL 提出了一种知识感知的对比学习框架，用于分子图，通过整合局部层次的领域知识（生物等排子结构替换）和全局层次的知识（图相似性），以改进数据驱动的分子指纹学习。通过联合优化局部和全局对比目标，MoCL 在线性与半监督设置下的多个分子性质预测基准上实现了最先进性能。

ABSTRACT

Recent years have seen a rapid growth of utilizing graph neural networks (GNNs) in the biomedical domain for tackling drug-related problems. However, like any other deep architectures, GNNs are data hungry. While requiring labels in real world is often expensive, pretraining GNNs in an unsupervised manner has been actively explored. Among them, graph contrastive learning, by maximizing the mutual information between paired graph augmentations, has been shown to be effective on various downstream tasks. However, the current graph contrastive learning framework has two limitations. First, the augmentations are designed for general graphs and thus may not be suitable or powerful enough for certain domains. Second, the contrastive scheme only learns representations that are invariant to local perturbations and thus does not consider the global structure of the dataset, which may also be useful for downstream tasks. Therefore, in this paper, we study graph contrastive learning in the context of biomedical domain, where molecular graphs are present. We propose a novel framework called MoCL, which utilizes domain knowledge at both local- and global-level to assist representation learning. The local-level domain knowledge guides the augmentation process such that variation is introduced without changing graph semantics. The global-level knowledge encodes the similarity information between graphs in the entire dataset and helps to learn representations with richer semantics. The entire model is learned through a double contrast objective. We evaluate MoCL on various molecular datasets under both linear and semi-supervised settings and results show that MoCL achieves state-of-the-art performance.

研究动机与目标

• 为解决通用图增强在分子表征学习中的局限性，其可能破坏语义含义。
• 通过在局部不变性之外引入分子图之间的全局结构相似性，改进对比学习。
• 开发一个统一框架，利用局部和全局领域知识，以更好地预训练分子数据上的图神经网络。
• 在线性与半监督学习协议下，评估所提方法在多样化分子性质预测任务中的有效性。

提出的方法

• 提出一种新颖的数据增强策略，称为子结构替换，其中生物等排体取代现有子结构，以在保持分子语义的同时引入变化。
• 引入一种全局对比损失，通过基于全局相似性度量构建的最近邻图来编码分子图之间的成对相似性。
• 采用双重对比目标：一个用于局部增强（MoCL-DK），另一个用于全局相似性，联合优化以提升表征质量。
• 使用图神经网络编码器配合投影头生成嵌入，随后通过 InfoNCE 损失在局部和全局视图上进行对比学习。
• 采用局部和全局对比损失的加权组合，通过邻居大小和损失加权的超参数来平衡两个目标。
• 同时采用线性评估（使用线性分类器进行探测）和半监督微调，以验证在多样化分子数据集上的表征质量。

实验结果

研究问题

• RQ1 基于生物等排取代的领域特定增强策略是否相比通用图增强能提升分子表征学习？
• RQ2 将全局图相似性信息引入对比学习是否能增强分子性质预测任务的下游性能？
• RQ3 不同全局损失形式——对比损失与最小二乘监督——对表征质量的影响如何？
• RQ4 模型性能对全局对比目标中邻居大小和损失加权等超参数的敏感性如何？

主要发现

• MoCL-DK1 和 MoCL-DK3 增强策略在全局知识下实现了最高的性能提升，所有数据集的中位 AUC 提升达 0.015–0.025。
• 全局相似性的对比损失（CL）优于直接的最小二乘监督（LS），在线性协议下所有数据集的平均 AUC 提升达 0.02–0.04。
• MoCL-DK1-G 搭配全局对比损失实现了最先进性能，在线性评估协议下于 7 个分子数据集中的 6 个上超越所有基线。
• 当在线性分类器上使用学习到的表征时，该方法的测试 AUC 高于一个训练良好的深度学习模型，证明了其强大的预训练质量。
• 敏感性分析表明，在中等邻居大小（例如 10–20）和中等至较高权重（λ ≈ 0.5–1.0）下性能达到最优。
• 在半监督微调中，MoCL-DK1-G 在 7 个数据集中的 5 个上取得最佳结果，证实了其在不同训练范式下的鲁棒性。