[论文解读] Faster and more diverse de novo molecular optimization with double-loop reinforcement learning using augmented SMILES

Esben Jannik Bjerrum, Christian Margreitter+2 more|arXiv (Cornell University)|Oct 22, 2022

Molecular Junctions and Nanostructures被引用 6

一句话总结

本文提出一种结合SMILES增强的双循环强化学习框架，以加速并多样化从头分子生成。通过在内层循环中生成非规范SMILES变体，该方法在迭代间复用分子评分，降低计算成本，同时提升样本多样性、可重复性及配体相似性——在5至10次增强下实现最优性能。

ABSTRACT

Using generative deep learning models and reinforcement learning together can effectively generate new molecules with desired properties. By employing a multi-objective scoring function, thousands of high-scoring molecules can be generated, making this approach useful for drug discovery and material science. However, the application of these methods can be hindered by computationally expensive or time-consuming scoring procedures, particularly when a large number of function calls are required as feedback in the reinforcement learning optimization. Here, we propose the use of double-loop reinforcement learning with simplified molecular line entry system (SMILES) augmentation to improve the efficiency and speed of the optimization. By adding an inner loop that augments the generated SMILES strings to non-canonical SMILES for use in additional reinforcement learning rounds, we can both reuse the scoring calculations on the molecular level, thereby speeding up the learning process, as well as offer additional protection against mode collapse. We find that employing between 5 and 10 augmentation repetitions is optimal for the scoring functions tested and is further associated with an increased diversity in the generated compounds, improved reproducibility of the sampling runs and the generation of molecules of higher similarity to known ligands.

研究动机与目标

• 解决基于强化学习的从头分子生成中重复分子评分带来的高计算成本问题。
• 缓解生成模型在分子设计中的模式崩溃问题，提升样本多样性。
• 通过在多个训练迭代中复用分子层面评分，提升强化学习的效率与可重复性。
• 探究SMILES增强对优化速度、多样性及与已知配体相似性的影响。

提出的方法

• 采用双循环强化学习结构：外层循环用于策略优化，内层循环用于SMILES增强。
• 利用随机化技术从规范SMILES生成非规范SMILES变体，以提升多样性。
• 将外层循环中先前计算的分子评分复用于多个内层循环训练步骤，减少冗余评估。
• 应用多目标评分函数，引导策略更新以生成具有期望性质的分子。
• 优化内层循环重复次数（5–10次），在速度、多样性和性能之间取得平衡。
• 采用策略梯度方法，基于增强SMILES的累积奖励更新生成模型。

实验结果

研究问题

• RQ1 在双循环强化学习框架中引入SMILES增强，如何影响分子优化的速度与效率？
• RQ2 SMILES增强重复次数的最优值是多少，才能在多样性与计算成本之间实现平衡？
• RQ3 与标准强化学习方法相比，该方法在多大程度上减少了模式崩溃并提升了样本多样性？
• RQ4 该方法如何影响生成分子与已知配体在药物发现中的相似性？
• RQ5 在多个内层循环迭代中复用分子评分，是否能提升训练的可重复性与收敛性？

主要发现

• 在5至10次SMILES增强重复下，各类测试评分函数均实现了优化速度、多样性和性能的最佳平衡。
• 通过在多个训练步骤中复用评分，该方法显著减少了所需的分子评分调用次数。
• 生成的分子与已知配体的相似性更高，表明其在药物发现中具有更高的相关性。
• 该方法在多次采样运行中表现出更优的可重复性，降低了输出分布的方差。
• 内层循环增强有效缓解了模式崩溃，生成了更多样化的分子结构。
• 双循环框架实现了更快的收敛速度，并更高效地探索了化学空间。