[论文解读] MDM: Molecular Diffusion Model for 3D Molecule Generation

Lei Huang, Hengtong Zhang+2 more|arXiv (Cornell University)|Sep 13, 2022

Innovative Microfluidic and Catalytic Techniques Innovation被引用 9

一句话总结

该论文提出MDM，一种分子扩散模型，通过为共价键和范德华相互作用分别设计双重等变编码器，显式建模原子间作用力，并引入分布控制变量以提升Langevin动力学中的多样性。MDM显著优于先前的最先进模型，在GEOM数据集上实现了高达31.4%的新颖性与4.1%更高的唯一性。

ABSTRACT

Molecule generation, especially generating 3D molecular geometries from scratch (i.e., 3D extit{de novo} generation), has become a fundamental task in drug designs. Existing diffusion-based 3D molecule generation methods could suffer from unsatisfactory performances, especially when generating large molecules. At the same time, the generated molecules lack enough diversity. This paper proposes a novel diffusion model to address those two challenges. First, interatomic relations are not in molecules' 3D point cloud representations. Thus, it is difficult for existing generative models to capture the potential interatomic forces and abundant local constraints. To tackle this challenge, we propose to augment the potential interatomic forces and further involve dual equivariant encoders to encode interatomic forces of different strengths. Second, existing diffusion-based models essentially shift elements in geometry along the gradient of data density. Such a process lacks enough exploration in the intermediate steps of the Langevin dynamics. To address this issue, we introduce a distributional controlling variable in each diffusion/reverse step to enforce thorough explorations and further improve generation diversity. Extensive experiments on multiple benchmarks demonstrate that the proposed model significantly outperforms existing methods for both unconditional and conditional generation tasks. We also conduct case studies to help understand the physicochemical properties of the generated molecules.

研究动机与目标

• 解决现有基于扩散的3D分子生成模型在处理大分子和多样性不足方面的局限性。
• 克服3D点云表示中缺乏显式原子间作用力建模的问题，从而阻碍了对局部约束的准确学习。
• 通过在每个扩散步骤中引入分布控制变量，提升生成多样性，以实现潜在空间的充分探索。
• 在保持分子有效性与稳定性的同时，实现对目标物理化学性质的高质量条件化分子生成。

提出的方法

• MDM通过在共价键距离阈值内的原子对之间添加类似化学键的连接，增强3D点云表示，显式建模强原子间作用力。
• 采用两个独立的等变神经网络，分别编码不同强度的原子间作用力——共价键（短程）与范德华力（长程），以提升几何保真度。
• 在每个扩散与反向扩散步骤中引入分布控制变量，允许从潜在分布中采样，以促进探索并增强多样性。
• 模型采用基于得分的去噪Langevin动力学，同时依赖于当前几何结构与控制变量，以生成稳定且有效的3D分子。
• 通过将属性向量（如HOMO、LUMO、偶极矩）与原子特征拼接，实现条件化生成。
• 训练流程利用在QM9子集上微调的属性分类器来引导条件化生成，评估方式为预测属性的平均绝对误差（MAE）

实验结果

研究问题

• RQ1 在3D点云中显式建模原子间作用力是否能提升对具有复杂几何结构的大分子的生成质量？
• RQ2 在每个扩散步骤中引入分布控制变量是否能显著提升生成3D分子的多样性？
• RQ3 在条件化生成设置下，该模型能否在保持高有效性和稳定性的同时，生成具有目标物理化学性质的分子？
• RQ4 在GEOM等大分子基准测试中，该模型的表现如何，尤其是在先前方法因局部约束建模不佳而表现欠佳的情况下？

主要发现

• MDM在GEOM数据集上实现了31.4%的新颖性得分，相比先前最先进模型EDM提升了4.1%。
• 在QM9数据集上，MDM将HOMO-LUMO能隙的MAE降低至0.044，优于EDM（0.655），甚至在某些情况下低于QM9的下界（Lower-Bound）MAE 0.064。
• 模型在条件化生成方面表现卓越，所有六个属性的MAE得分均持续低于基线模型（如Naive和#Atoms）。
• 案例研究证实，插值极化率值可生成具有预期结构变化的分子，验证了模型对分子形状的控制能力。
• MDM在所有生成任务中均保持了高有效性和稳定性，尽管多样性增强，但质量未出现下降。
• 引入分布控制变量后，生成的分子在结构上更加多样化且各不相同，证实其在采样过程中有效探索潜在空间。