[论文解读] Scalable Fragment-Based 3D Molecular Design with Reinforcement Learning

Daniel Flam-Shepherd, A. S. Zhigalin+1 more|arXiv (Cornell University)|Feb 1, 2022

Computational Drug Discovery Methods被引用 6

一句话总结

本文提出一种分层强化学习框架，通过在笛卡尔空间中按顺序放置预定义的分子片段来设计复杂的3D分子，由基于能量的奖励进行引导。该方法实现了超过100个原子的可扩展、高保真分子生成，其在有效性与收敛速度方面优于基于原子层面的智能体，且与化学家的直觉保持一致。

ABSTRACT

Machine learning has the potential to automate molecular design and drastically accelerate the discovery of new functional compounds. Towards this goal, generative models and reinforcement learning (RL) using string and graph representations have been successfully used to search for novel molecules. However, these approaches are limited since their representations ignore the three-dimensional (3D) structure of molecules. In fact, geometry plays an important role in many applications in inverse molecular design, especially in drug discovery. Thus, it is important to build models that can generate molecular structures in 3D space based on property-oriented geometric constraints. To address this, one approach is to generate molecules as 3D point clouds by sequentially placing atoms at locations in space -- this allows the process to be guided by physical quantities such as energy or other properties. However, this approach is inefficient as placing individual atoms makes the exploration unnecessarily deep, limiting the complexity of molecules that can be generated. Moreover, when optimizing a molecule, organic and medicinal chemists use known fragments and functional groups, not single atoms. We introduce a novel RL framework for scalable 3D design that uses a hierarchical agent to build molecules by placing molecular substructures sequentially in 3D space, thus attempting to build on the existing human knowledge in the field of molecular design. In a variety of experiments with different substructures, we show that our agent, guided only by energy considerations, can efficiently learn to produce molecules with over 100 atoms from many distributions including drug-like molecules, organic LED molecules, and biomolecules.

研究动机与目标

• 解决现有机器学习方法在分子设计中依赖2D表示（如SMILES、图结构）而忽略3D几何信息的局限性。
• 克服逐个原子生成3D分子所导致的低效性，避免陷入深度且不可扩展的搜索空间。
• 通过将子结构作为原子动作，将化学家在现实世界中采用的基于片段的设计方法融入机器学习。
• 实现由物理性质（如能量）引导的、具有几何约束的可扩展分子生成。
• 证明生成复杂、多样且有效的3D分子（包括类药物分子、生物大分子及OLED材料）的可行性，且原子数超过100个。

提出的方法

• 提出一种在3D笛卡尔空间中运行的分层强化学习智能体，采用高层次动作：放置整个分子片段而非单个原子。
• 使用编码当前3D分子几何结构与片段位置的状态表示，动作选择包括要放置的片段及其连接点。
• 基于量子力学能量（如DFT计算的总能量）定义奖励函数，鼓励生成低能量、稳定的分子构型。
• 实现离散-连续动作空间：离散选择用于片段选择与连接点（如需取代的氢原子），连续坐标用于3D位置放置。
• 使用策略梯度方法进行深度强化学习训练，实现3D分子结构的端到端优化。
• 集成几何约束与对称性感知表示，以提升训练过程中的样本效率与稳定性。

实验结果

研究问题

• RQ1 强化学习智能体能否通过放置分子片段而非单个原子来学习生成复杂且稳定的3D分子？
• RQ2 与基于原子的生成方法相比，基于片段的3D分子生成在有效性、收敛速度与可扩展性方面是否更具优势？
• RQ3 该智能体是否仅通过基于能量的奖励，就能生成具有高原子数（>100个原子）、低能量与高结构有效性的多样化分子？
• RQ4 分层片段化方法在多大程度上与化学家的直觉及现实世界分子设计实践相契合？
• RQ5 该方法在不同分子分布（包括类药物化合物、有机LED及生物大分子）中的表现如何？

主要发现

• 智能体成功生成了原子数超过100的分子，证明其在规模上超越了以往仅限于小分子的3D生成模型。
• 生成分子的有效性超过95%，显著优于基于原子的智能体（如MolGym），在有效性和收敛速度方面均表现更优。
• 在50,000次训练步骤内收敛至低能量、稳定结构，且在20,000步后能量与几何结构即出现显著改善。
• 当在氨基酸片段上进行训练时，智能体能够学习生成具有肽类3D几何结构的分子，表明其具备正确的几何推理能力。
• 该方法能够高效探索离散（片段选择）与连续（空间放置）动作空间，这对复杂分子设计至关重要。
• 该框架可适配不同奖励函数（如对接打分或亲水性），实现针对特定应用（如药物结合或催化剂设计）的定向设计。