[论文解读] Mind the Retrosynthesis Gap: Bridging the divide between Single-step and Multi-step Retrosynthesis Prediction

Alan Kai Hassen, Paula Torren-Peraire+4 more|arXiv (Cornell University)|Dec 12, 2022

Machine Learning in Materials Science被引用 5

一句话总结

本论文通过在蒙特卡洛树搜索（MCTS）和Retro*等多步规划框架中基准测试最先进的单步反应预测模型（如LocalRetro、MHNreact和Chemformer），弥合了单步与多步逆合成之间的差距。结果表明，单步模型对多步性能有显著影响，其中LocalRetro将可解性提升30.0%（达到80.6%），并使成功路线数量增加三倍，远超目前最广泛使用的模型，凸显了为多步应用专门开发和评估单步模型的必要性，而非孤立地进行评估。

ABSTRACT

Retrosynthesis is the task of breaking down a chemical compound recursively step-by-step into molecular precursors until a set of commercially available molecules is found. Consequently, the goal is to provide a valid synthesis route for a molecule. As more single-step models develop, we see increasing accuracy in the prediction of molecular disconnections, potentially improving the creation of synthetic paths. Multi-step approaches repeatedly apply the chemical information stored in single-step retrosynthesis models. However, this connection is not reflected in contemporary research, fixing either the single-step model or the multi-step algorithm in the process. In this work, we establish a bridge between both tasks by benchmarking the performance and transfer of different single-step retrosynthesis models to the multi-step domain by leveraging two common search algorithms, Monte Carlo Tree Search and Retro*. We show that models designed for single-step retrosynthesis, when extended to multi-step, can have a tremendous impact on the route finding capabilities of current multi-step methods, improving performance by up to +30% compared to the most widely used model. Furthermore, we observe no clear link between contemporary single-step and multi-step evaluation metrics, showing that single-step models need to be developed and tested for the multi-step domain and not as an isolated task to find synthesis routes for molecules of interest.

研究动机与目标

• 探究单步逆合成模型向多步合成规划的可迁移性。
• 评估单步模型性能指标与多步可解性之间的相关性，挑战‘高单步准确率即意味着强多步性能’的假设。
• 识别影响单步模型在多步搜索算法中有效性的关键因素，尤其是推理速度和模型优化。
• 倡导为多步应用专门开发和评估单步模型，而非作为孤立任务进行。
• 利用标准化搜索算法（MCTS和Retro*）为最先进的单步模型在多步逆合成中提供基准。

提出的方法

• 作者在两种多步搜索算法——蒙特卡洛树搜索（MCTS）和Retro*——中评估了五种最先进的单步逆合成模型：LocalRetro、MHNreact、Chemformer、基于模板的模型以及AIzynthFinder。
• 单步训练与评估使用USPTO-50k数据集，相同模型在多步逆合成规划中应用，以评估路线发现的成功率。
• 性能通过可解性（具有有效合成路线的目标分子比例）和推理时间进行衡量，所有模型均在CPU环境下评估，以反映真实多步规划的约束条件。
• 通过比较单步top-k准确率与多步可解性，评估指标一致性，结果揭示两者之间无明显相关性。
• 通过测量单批次（batch size=1，典型于多步规划）下的模型调用时间，分析推理速度，发现MHNreact等模型在小批量时出现显著性能下降。
• 本研究强调了为CPU推理和低延迟部署优化单步模型的重要性，以适配多步搜索流水线。

实验结果

研究问题

• RQ1 单步逆合成模型在top-k准确率较高时，能在多大程度上提升多步可解性？
• RQ2 单步评估指标（如top-k准确率）与多步性能（如路线可解性）之间是否存在强相关性？
• RQ3 单步模型的推理速度和批处理效率如何影响其在多步逆合成规划中的表现？
• RQ4 当集成到MCTS和Retro*等搜索算法中时，最先进的单步模型能否显著提升多步路线发现能力？
• RQ5 将单步模型迁移至多步规划中的主要瓶颈是什么？如何解决？

主要发现

• 表现最佳的单步模型LocalRetro将多步可解性提升了+30.0%（达到80.6%），相较于最广泛使用的模型，显著提升了路线发现能力。
• 研究发现单步top-k准确率与多步可解性之间无明显相关性，表明高单步准确率并不能保证强多步性能。
• 尽管MHNreact和Chemformer在单步任务中准确率高，但在多步规划中表现不佳，原因在于单样本推理时推理速度过慢，凸显延迟对搜索效率的影响。
• 为GPU推理和大批次处理而优化的单步模型在多步规划中表现差，因为多步规划通常在CPU上运行且采用单样本推理，揭示了部署环境中的关键不匹配。
• 使用LocalRetro替代基线模型后，成功路线数量增加了三倍，凸显了模型选择对多步规划结果的变革性影响。
• 结果强调，单步模型必须面向多步应用进行开发和评估，孤立的单步评估不足以预测真实世界合成规划的成功。