[论文解读] A Group Symmetric Stochastic Differential Equation Model for Molecule Multi-modal Pretraining

Shengchao Liu, Weitao Du+3 more|arXiv (Cornell University)|May 28, 2023

Computational Drug Discovery Methods被引用 6

一句话总结

该论文提出 MoleculeSDE，一种群对称随机微分方程模型，通过从 2D 拓扑和 3D 几何中学习联合表征，实现分子的多模态预训练。通过在输入空间中直接利用 SE(3)-等变性和反射反对称性 SDE 生成 3D 构象和 2D 图，MoleculeSDE 实现了更紧密的互信息估计，并在 32 项下游任务中的 26 项上达到最先进性能，涵盖构象生成和性质预测任务。

ABSTRACT

Molecule pretraining has quickly become the go-to schema to boost the performance of AI-based drug discovery. Naturally, molecules can be represented as 2D topological graphs or 3D geometric point clouds. Although most existing pertaining methods focus on merely the single modality, recent research has shown that maximizing the mutual information (MI) between such two modalities enhances the molecule representation ability. Meanwhile, existing molecule multi-modal pretraining approaches approximate MI based on the representation space encoded from the topology and geometry, thus resulting in the loss of critical structural information of molecules. To address this issue, we propose MoleculeSDE. MoleculeSDE leverages group symmetric (e.g., SE(3)-equivariant and reflection-antisymmetric) stochastic differential equation models to generate the 3D geometries from 2D topologies, and vice versa, directly in the input space. It not only obtains tighter MI bound but also enables prosperous downstream tasks than the previous work. By comparing with 17 pretraining baselines, we empirically verify that MoleculeSDE can learn an expressive representation with state-of-the-art performance on 26 out of 32 downstream tasks.

研究动机与目标

• 为解决现有多模态分子预训练方法在表征空间中近似互信息（MI）所导致的结构信息损失问题。
• 通过在输入空间（2D 拓扑和 3D 几何）中直接进行生成建模，而非在压缩表征空间中进行，以提高互信息估计的准确性。
• 利用具有物理对称性的 SDE 实现从 2D 拓扑生成高质量 3D 构象，支持下游几何建模。
• 在多样化的下游分子性质预测和构象生成任务中实现最先进性能。
• 提供一个统一框架，结合对比学习与生成式自监督学习，并引入群对称性约束，用于分子表征学习。

提出的方法

• MoleculeSDE 采用随机微分方程（SDE）框架，建模从 3D 构象到 2D 拓扑的反向去噪过程，以及从 2D 拓扑到 3D 构象的生成过程。
• 2D 到 3D 的生成采用 SE(3)-等变 SDE，以保留 3D 几何中的旋转和平移对称性，确保物理一致性。
• 3D 到 2D 的生成采用 SE(3)-不变 SDE，仅关注不变特征（如节点和边类型），以维持模态对齐。
• 模型整合了对比学习（使用 EBM-NCE）和生成学习目标，联合优化表征对齐与生成保真度。
• 在神经网络架构中显式施加群对称性（SE(3)-等变性和反射反对称性），以保持几何不变性。
• 通过直接建模数据空间生成，避免使用代理的 MI 估计，从而获得更紧密的 MI 上界并减少信息损失。

实验结果

研究问题

• RQ1 在输入空间中使用对称 SDE 进行直接生成建模，是否能比代理方法更紧密地估计 2D 分子拓扑与 3D 构象之间的互信息？
• RQ2 在基于 SDE 的生成过程中施加 SE(3)-等变性和反射反对称性，是否能提升生成 3D 构象的质量和物理合理性？
• RQ3 MoleculeSDE 是否能通过联合 2D-3D 预训练，在多样化的下游分子性质预测任务中实现最先进性能？
• RQ4 在标准基准上，MoleculeSDE 与现有 2D、3D 和多模态预训练基线相比，在性能和效率方面表现如何？
• RQ5 MoleculeSDE 在多大程度上能仅从 2D 拓扑生成高质量 3D 构象，从而支持下游几何建模？

主要发现

• MoleculeSDE 在 32 项下游任务中的 26 项上达到最先进性能，显著优于 17 种预训练基线，在多样化的分子性质预测基准上表现突出。
• 在 MD17 力预测基准上，MoleculeSDE（VE）对阿司匹林的平均绝对误差为 0.421，优于第二名方法 GeoSSL-DDM 的 0.427。
• 在 GEOM QM9 的构象生成任务中，MoleculeSDE 的覆盖率（COV）达到 92.37%，平均绝对误差（MAT）为 0.2423 Å，优于 DMGC 和 ConfGF 等先前方法。
• 在 GEOM Drugs 上，MoleculeSDE 实现 85.42% 的覆盖率和 0.9485 Å 的 MAT，覆盖率优于 RMCF-C（87.12% COV，0.749 Å MAT），且 MAT 性能接近其水平。
• MoleculeSDE 的计算成本为单张 V100 GPU 每轮 30 分钟，高于简单的 2D 或 3D SSL 方法，但其卓越性能使其成本合理。
• 消融研究证实，使用对称 SDE 和直接在输入空间中生成，相比 GraphMVP 等代理方法，能实现更准确的 MI 估计和更优的下游性能。