[论文解读] Fractional Denoising for 3D Molecular Pre-training

Shikun Feng, Yuyan Ni+3 more|arXiv (Cornell University)|Jul 20, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出了一种新颖的3D分子预训练方法——分数去噪（Frad），通过在二面角和坐标上应用混合噪声，仅对坐标分量进行去噪，从而解决了坐标去噪中采样覆盖率低以及各向同性力场的局限性问题。Frad通过提升结构覆盖度并解耦噪声处理，学习到更精确的各向异性力场，在QM9的12项任务中有9项达到最先进性能，在MD17的8项目标中有7项达到最先进水平。

ABSTRACT

Coordinate denoising is a promising 3D molecular pre-training method, which has achieved remarkable performance in various downstream drug discovery tasks. Theoretically, the objective is equivalent to learning the force field, which is revealed helpful for downstream tasks. Nevertheless, there are two challenges for coordinate denoising to learn an effective force field, i.e. low coverage samples and isotropic force field. The underlying reason is that molecular distributions assumed by existing denoising methods fail to capture the anisotropic characteristic of molecules. To tackle these challenges, we propose a novel hybrid noise strategy, including noises on both dihedral angel and coordinate. However, denoising such hybrid noise in a traditional way is no more equivalent to learning the force field. Through theoretical deductions, we find that the problem is caused by the dependency of the input conformation for covariance. To this end, we propose to decouple the two types of noise and design a novel fractional denoising method (Frad), which only denoises the latter coordinate part. In this way, Frad enjoys both the merits of sampling more low-energy structures and the force field equivalence. Extensive experiments show the effectiveness of Frad in molecular representation, with a new state-of-the-art on 9 out of 12 tasks of QM9 and on 7 out of 8 targets of MD17.

研究动机与目标

• 解决坐标去噪中采样覆盖率低的问题，该问题限制了对低能量分子构象的探索。
• 克服现有方法中各向同性力场假设的局限，该假设无法捕捉分子的各向异性能量景观。
• 开发一种预训练方法，在保持力场等价性的同时实现更广泛的构象采样。
• 解耦二面角与坐标噪声，以保持物理可解释性并提升下游性能。
• 通过纠正输入扰动不一致性，实现与Noisy Nodes的有效微调。

提出的方法

• 提出一种混合噪声策略，对可旋转键的二面角施加高斯噪声，同时对原子坐标施加独立噪声。
• 仅对坐标分量进行去噪，同时将二面角噪声保留为数据增强机制。
• 理论上证明，解耦两种噪声类型可恢复力场等价性，避免传统去噪方法中的协方差依赖问题。
• 利用二面角噪声探索低能量构象，同时不破坏分子稳定性。
• 在微调阶段，对去噪和下游任务的输入进行解耦，以确保输入分布的一致性。
• 采用修改后的Noisy Nodes设置，验证其在下游预测中的鲁棒性与性能提升。

实验结果

研究问题

• RQ1 在预训练中，对二面角和坐标施加混合噪声是否能提升对低能量分子构象的采样？
• RQ2 仅对坐标分量进行去噪是否能在保持力场等价性的同时实现各向异性学习？
• RQ3 解耦二面角与坐标噪声对使用Noisy Nodes进行微调的性能有何影响？
• RQ4 与标准坐标去噪相比，分数去噪在多大程度上提升了分子表征学习能力？
• RQ5 所提出的方法是否能在QM9和MD17等标准3D分子基准上实现最先进性能？

主要发现

• Frad在QM9基准的12项任务中有9项达到新的最先进性能，且在所有评估任务中均优于标准坐标去噪方法。
• 在MD17阿司匹林任务中，使用Noisy Nodes微调的Frad达到0.2087的测试平均绝对误差（MAE），优于基线方法，并解决了传统Noisy Nodes中存在的收敛问题。
• 消融实验表明，二面角噪声显著增强了对低能量构象的采样能力，而仅靠坐标去噪无法实现同等覆盖度。
• 对去噪和下游任务的输入进行解耦，可实现稳定收敛并提升性能，尤其在高二面角噪声设置下表现更优。
• 通过消融实验和下游性能验证，该方法在理论上与各向异性力场学习保持等价，证实了其物理可解释性。
• Frad的性能提升归因于更广的构象覆盖度和更精确的力场学习，这一结论在消融实验和对比研究中得到验证。