[论文解读] Models Matter: The Impact of Single-Step Retrosynthesis on Synthesis Planning

Paula Torren-Peraire, Alan Kai Hassen+5 more|arXiv (Cornell University)|Aug 10, 2023

Computational Drug Discovery Methods被引用 6

一句话总结

本研究将最先进的单步逆合成模型整合到多步合成规划中，表明模型选择对路线发现成功率有显著影响——成功率最高可提升28%——并揭示了单步性能与实际规划效率之间存在关键脱节。该研究质疑了USPTO-50k基准的有效性，并主张在完整的合成规划流程中进行评估，以指导未来模型的发展。

ABSTRACT

Retrosynthesis consists of breaking down a chemical compound recursively step-by-step into molecular precursors until a set of commercially available molecules is found with the goal to provide a synthesis route. Its two primary research directions, single-step retrosynthesis prediction, which models the chemical reaction logic, and multi-step synthesis planning, which tries to find the correct sequence of reactions, are inherently intertwined. Still, this connection is not reflected in contemporary research. In this work, we combine these two major research directions by applying multiple single-step retrosynthesis models within multi-step synthesis planning and analyzing their impact using public and proprietary reaction data. We find a disconnection between high single-step performance and potential route-finding success, suggesting that single-step models must be evaluated within synthesis planning in the future. Furthermore, we show that the commonly used single-step retrosynthesis benchmark dataset USPTO-50k is insufficient as this evaluation task does not represent model performance and scalability on larger and more diverse datasets. For multi-step synthesis planning, we show that the choice of the single-step model can improve the overall success rate of synthesis planning by up to +28% compared to the commonly used baseline model. Finally, we show that each single-step model finds unique synthesis routes, and differs in aspects such as route-finding success, the number of found synthesis routes, and chemical validity, making the combination of single-step retrosynthesis prediction and multi-step synthesis planning a crucial aspect when developing future methods.

研究动机与目标

• 探究单步逆合成模型对多步合成规划性能的影响。
• 评估高性能单步模型是否能推广到现实世界的大规模合成规划任务中。
• 评估USPTO-50k基准在反映现实世界可扩展性与性能可迁移性方面的局限性。
• 识别模型性能、推理速度与路线多样性之间在合成规划中的权衡。
• 提出一种在多步规划背景下使用代表性子样本对单步模型进行基准测试的框架。

提出的方法

• 本研究将多种最先进的单步逆合成模型——NeuralSym、LocalRetro、MHNreact、Chemformer以及基线模型AZF——整合到多步合成规划框架中。
• 通过合成规划成功率、路线多样性及化学有效性等指标，在公开数据集（USPTO-50k、Caspyrus10k）和专有反应数据集上评估模型性能。
• 在Caspyrus10k数据集上采用子采样策略，测试1000个分子作为代表性子集，以实现快速基准测试且方差较低。
• 分析比较各模型在路线发现成功率、生成的有效路线数量、推理时间以及与参考路线的偏离程度方面的表现。
• 采用标准化的合成规划流程，结合束搜索（beam search）和化学有效性过滤，确保公平比较。
• 利用SMILES表示法，并在基于模板与无模板两种方法上评估模型，以分析性能与速度之间的权衡。

Figure 1: Evaluation Framework for single-step models (AiZynthFinder (AZF), LocalRetro, Chemformer, and MHNreact), trained on different public (USPTO-50k, USPTO-PaRoutes-1M) and proprietary (AZ-1M, AZ-18M) datasets in synthesis planning on Caspyrus10k and PaRoutes.

实验结果

研究问题

• RQ1 在USPTO-50k等小型基准上表现优异的单步逆合成模型，是否与多步合成规划中的成功路线发现相关？
• RQ2 在多步规划中，不同单步模型（基于模板与无模板）在路线发现成功率、速度和多样性方面的表现如何比较？
• RQ3 USPTO-50k数据集在多大程度上能代表现实世界中更大、更复杂的反应数据集的可扩展性与性能可迁移性？
• RQ4 单步模型的选择是否能显著提升整体合成规划的成功率？若能，提升幅度有多大？
• RQ5 不同单步模型是否能生成独特且化学上有效的合成路线？它们在关键性能维度上存在哪些差异？

主要发现

• 即使在相同反应数据上进行训练，单步逆合成模型的选择可使多步合成规划的成功率最高提升28%。
• USPTO-50k上的高性能与多步规划中的成功路线发现之间并无直接相关性，表明评估范式存在关键脱节。
• USPTO-50k基准不足以评估现实世界的可扩展性与可迁移性，因为其性能排名与模型行为无法推广到更大、更复杂的数据集（如USPTO-PaRoutes-1M或Caspyrus10k）。
• 无模板模型（如Chemformer）在大规模异质性数据上表现出优越的单步性能，但在多步规划中速度慢200倍；而基于模板的模型（如LocalRetro）在速度、成功率与路线多样性之间实现了良好平衡。
• 每种单步模型均生成了独特的合成路线，其在成功率、有效路线数量、推理时间与化学有效性方面存在差异，凸显了在规划中选择合适模型的重要性。
• 从Caspyrus10k中选取的1000个分子代表性子集，能稳定近似完整数据集的结果，实现快速基准测试且方差极低（成功率标准差 < 0.05）。

Figure 2: Single-step Retrosynthesis Prediction Performance in terms of top-n accuracy for AZF, LocalRetro, Chemformer, and MHNreact on different datasets (USPTO-50k, USPTO-PaRoutes-1M, AZ-1M, AZ-18M) (see Supplementary Table S1 ).