[论文解读] It Takes Two to Tango: Directly Optimizing for Constrained Synthesizability in Generative Molecular Design

Jeff Guo, Philippe Schwaller|arXiv (Cornell University)|Oct 15, 2024

Chemical Synthesis and AnalysisBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出了TANGO，一种新颖的密集奖励函数，通过利用化学原理直接优化生成式分子模型的受限可合成性，使强化学习能够生成满足多参数优化目标并强制使用特定商业原料的分子。这是首个实现此目标的框架，在起始原料、中间体及发散合成约束下均表现出最先进性能。

ABSTRACT

Constrained synthesizability is an unaddressed challenge in generative molecular design. In particular, designing molecules satisfying multi-parameter optimization objectives, while simultaneously being synthesizable and enforcing the presence of specific commercial building blocks in the synthesis. This is practically important for molecule re-purposing, sustainability, and efficiency. In this work, we propose a novel reward function called TANimoto Group Overlap (TANGO), which uses chemistry principles to transform a sparse reward function into a dense and learnable reward function -- crucial for reinforcement learning. TANGO can augment general-purpose molecular generative models to directly optimize for constrained synthesizability while simultaneously optimizing for other properties relevant to drug discovery using reinforcement learning. Our framework is general and addresses starting-material, intermediate, and divergent synthesis constraints. Contrary to most existing works in the field, we show that incentivizing a general-purpose (without any inductive biases) model is a productive approach to navigating challenging optimization scenarios. We demonstrate this by showing that the trained models explicitly learn a desirable distribution. Our framework is the first generative approach to tackle constrained synthesizability.

研究动机与目标

• 解决直接优化生成式分子模型以实现受限可合成性的未满足挑战，包括起始原料、中间体及发散合成约束。
• 开发一种密集且可学习的奖励函数，将稀疏奖励转化为强化学习的可操作信号。
• 使通用生成模型能够在不引入归纳偏差的情况下学习可合成的分子分布，同时优化与药物发现相关的属性。
• 证明激励通用模型（而非限制其架构）是解决复杂多目标分子设计问题的有效方法。
• 表明该框架能够生成具有高对接评分和高QED值的分子，同时确保合成路线中使用可强制执行的原料。

提出的方法

• 提出TANimoto集团重叠（TANGO），一种受化学启发的密集奖励函数，用于量化生成分子中官能团与强制原料中官能团之间的重叠程度。
• 使用逆合成模型作为预言机以评估可合成性并指导奖励函数，确保生成的分子具有合成可行性。
• 将TANGO集成到强化学习框架中，联合优化多种分子属性（例如对接评分、QED）和可合成性。
• 将该方法应用于多种合成约束：起始原料、中间体及发散合成，均强制使用特定原料。
• 采用通用生成模型（无归纳偏差），并通过奖励函数设计让其学习可合成性，而非通过架构约束。
• 通过多种配置验证该方法，包括不同预言机预算和QED强制设置，共使用10个随机种子。

Figure 1: TANGO guides the generation of molecules directly optimized for constrained synthesizability with enforced building blocks while simultaneously optimizing other properties. Our method generalizes across starting-material, intermediate, and divergent synthesis constraints.

实验结果

研究问题

• RQ1 通用生成模型是否能有效被激励以学习可合成的分子分布，而无需架构上的归纳偏差？
• RQ2 像TANGO这样基于化学原理的密集奖励函数，是否能有效引导强化学习生成满足多参数优化并强制使用特定原料的分子？
• RQ3 是否可能在一个训练过程中同时优化与药物发现相关的属性（如对接评分、QED）和受限可合成性？
• RQ4 该框架在不同类型合成约束（起始原料、中间体、发散合成）下的性能表现如何？
• RQ5 增加预言机预算是否能提高生成强制使用原料的分子的成功率，且该方法在实践中是否具备可扩展性？

主要发现

• TANGO框架在所有测试配置下均成功生成了强制使用原料的分子，包括发散合成，10个种子中有4个在10,000次预言机预算下至少生成了一种有效分子。
• 当预言机预算增至15,000时，发散原料的成功率提升至10个种子中的5个，表明计算资源增加可提升性能。
• 在10,000预算下，强制使用原料的生成分子平均对接评分为 -8.48 ± 0.25（M=2694），表明具有高结合亲和力潜力。
• 在对接评分最低区间（DS < -10）的分子中，平均QED值为 0.84 ± 0.10，表明具有高类药物性。
• 在未强制QED的情况下，成功率下降至10个种子中的3个，但当预算增至15,000时提升至4个，表明QED是有用但非必需的约束。
• 在10,000预算下，成功生成分子的平均反应步骤数为 3.68 ± 1.08，表明合成路线具有可行性。

Figure 2: TANGO reward function: the maximum similarity between every non-root node (generated molecule) molecule and the set of enforced building blocks. Every synthesizable generated molecule returns a non-zero reward.