[论文解读] GeomGCL: Geometric Graph Contrastive Learning for Molecular Property Prediction

Shuangli Li, Jingbo Zhou+3 more|arXiv (Cornell University)|Sep 24, 2021

Computational Drug Discovery Methods被引用 11

一句话总结

GeomGCL 提出了一种几何图对比学习框架，通过双视角几何消息传递网络（GeomMPNN）和2D-3D对比学习方案，同时利用2D和3D分子图表示。通过在无需数据增强的情况下联合优化几何结构学习与表征对齐，GeomGCL 实现了最先进性能，在分类和回归任务上分别较强基线模型提升2.18%和10.4%。

ABSTRACT

Recently many efforts have been devoted to applying graph neural networks (GNNs) to molecular property prediction which is a fundamental task for computational drug and material discovery. One of major obstacles to hinder the successful prediction of molecule property by GNNs is the scarcity of labeled data. Though graph contrastive learning (GCL) methods have achieved extraordinary performance with insufficient labeled data, most focused on designing data augmentation schemes for general graphs. However, the fundamental property of a molecule could be altered with the augmentation method (like random perturbation) on molecular graphs. Whereas, the critical geometric information of molecules remains rarely explored under the current GNN and GCL architectures. To this end, we propose a novel graph contrastive learning method utilizing the geometry of the molecule across 2D and 3D views, which is named GeomGCL. Specifically, we first devise a dual-view geometric message passing network (GeomMPNN) to adaptively leverage the rich information of both 2D and 3D graphs of a molecule. The incorporation of geometric properties at different levels can greatly facilitate the molecular representation learning. Then a novel geometric graph contrastive scheme is designed to make both geometric views collaboratively supervise each other to improve the generalization ability of GeomMPNN. We evaluate GeomGCL on various downstream property prediction tasks via a finetune process. Experimental results on seven real-life molecular datasets demonstrate the effectiveness of our proposed GeomGCL against state-of-the-art baselines.

研究动机与目标

• 为解决分子性质预测中标签数据有限的问题，利用几何结构。
• 克服现有图对比学习方法依赖数据增强且可能改变分子语义的局限性。
• 整合2D和3D分子几何信息，实现更鲁棒、更具表现力的分子表征学习。
• 开发一种不修改分子结构的2D-3D视图对齐对比学习策略。
• 通过几何监督提升分子性质预测任务中的泛化能力和预测性能。

提出的方法

• 提出一种双通道几何消息传递网络（GeomMPNN），分别使用距离和角度特征处理2D和3D分子图。
• 引入一种2D-3D几何对比学习方案，通过跨两个视图对齐表征以增强特征学习。
• 采用空间正则化损失 $\mathcal{L}^s$，促使模型捕捉3D角度域中的有意义几何关系。
• 使用对比学习目标，促使同一分子的正样本对（2D和3D视图）具有相似表征，同时将负样本对相互推开。
• 采用自监督预训练阶段，随后在下游性质预测任务上进行微调。
• 利用RDKit生成3D构象，并直接从SMILES表示构建2D图。

实验结果

研究问题

• RQ1 联合学习2D和3D分子几何视图是否能提升分子表征学习？
• RQ2 基于2D-3D几何对齐的对比学习方案是否能在无需数据增强的情况下提升泛化能力？
• RQ3 跨视图整合几何特征（距离和角度）对下游性质预测有何影响？
• RQ4 在对比学习目标中，2D与3D几何监督的最优平衡是什么？
• RQ5 几何对比学习是否能在分子性质预测中超越标准GNN和现有GCL方法？

主要发现

• GeomGCL 在七个真实世界分子数据集上达到最先进性能，在分类和回归任务中均优于强基线模型。
• 与最佳基线模型相比，该模型在分类准确率上提升2.18%，在回归性能上提升10.4%。
• 消融实验表明，同时使用2D和3D视图至关重要，单视图模型（GeomMPNN-2D或-3D）性能均较差。
• 移除空间正则化损失 $\mathcal{L}^s$ 导致性能显著下降，表明其在捕捉几何结构方面的重要性。
• 与无对比学习的GeomMPNN相比，对比学习组件（GeomGCL）显著提升性能，证明其有效性。
• 空间正则化损失的最优权衡参数 $\lambda$ 存在，性能在达到峰值后开始下降，表明该超参数配置虽敏感但稳定。