[论文解读] Assessing the Extrapolation Capability of Template-Free Retrosynthesis Models

Shuan Chen, Yousung Jung|arXiv (Cornell University)|Feb 29, 2024

Wastewater Treatment and Nitrogen Removal被引用 4

一句话总结

本研究通过从 USPTO-480k 中构建多样化分布外（OOD）反应数据集，评估了无模板逆合成模型的外推能力，发现尽管这些模型能够生成新颖的反应模板，但其在 OOD 反应上的 top-10 精确匹配准确率低于 1%，且超过一半的预测新颖反应在化学上不可行。研究结果呼吁在未来模型设计中整合化学可行性，以实现对未探索反应空间的可靠探索。

ABSTRACT

Despite the acknowledged capability of template-free models in exploring unseen reaction spaces compared to template-based models for retrosynthesis prediction, their ability to venture beyond established boundaries remains relatively uncharted. In this study, we empirically assess the extrapolation capability of state-of-the-art template-free models by meticulously assembling an extensive set of out-of-distribution (OOD) reactions. Our findings demonstrate that while template-free models exhibit potential in predicting precursors with novel synthesis rules, their top-10 exact-match accuracy in OOD reactions is strikingly modest (< 1%). Furthermore, despite the capability of generating novel reactions, our investigation highlights a recurring issue where more than half of the novel reactions predicted by template-free models are chemically implausible. Consequently, we advocate for the future development of template-free models that integrate considerations of chemical feasibility when navigating unexplored regions of reaction space.

研究动机与目标

• 评估无模板逆合成模型是否能准确预测其训练数据分布之外的反应。
• 研究无模板模型在分布外设置下生成的反应模板的新颖性与化学可行性。
• 评估这些模型在已知反应模板之外进行外推并发现真正新颖且可行的合成路径的能力。
• 识别当前无模板模型在生成化学上可行的新颖反应方面的主要局限，尤其是在未见反应空间中的表现。

提出的方法

• 通过从 USPTO-480k 测试集中提取与 USPTO-50k 训练集不共享任何通用反应模板（GRTs）的反应，构建了分布外（OOD）反应数据集。
• 使用 GRTs 表征训练数据中的反应模板分布，并基于模板差异性识别 OOD 反应。
• 使用 top-10 预测准确率和往返准确率指标，在分布内（ID）和 OOD 反应上评估了三种最先进的无模板模型——Transformer、Retroformer 和 Chemformer。
• 分析 ID 和 OOD 数据集上 top-10 预测结果的有效性、唯一性和新颖性，以评估其外推行为。
• 对模型生成的新颖反应模板进行定性分析，评估其化学合理性，重点关注异常的功能团转化或离去基团模式。
• 将模型在 OOD 反应上的表现与已知反应规则进行比较，评估其是否能超越训练分布进行泛化。

Figure 1: The workflow of collecting in-distribution (ID) and out-of-distribution (OOD) reactions

实验结果

研究问题

• RQ1 无模板逆合成模型能否准确预测在训练过程中未见过的新反应模板的合成路径？
• RQ2 无模板模型在分布内与分布外反应上的 top-10 预测准确率有何差异？
• RQ3 无模板模型生成的新颖反应模板在多大程度上具有化学可行性？
• RQ4 无模板模型在 OOD 目标上的预测是否比在 ID 目标上产生更多唯一和新颖的反应，表明其尝试外推？
• RQ5 无模板模型在分布外设置下常生成哪些类型的化学上不可行的反应模式？

主要发现

• 所有测试的无模板模型在分布外（OOD）反应上的 top-10 精确匹配准确率均低于 1%，表明其在重现已知新颖路径方面能力极弱。
• 超过 50% 的无模板模型在 OOD 反应上预测的新颖反应在化学上不可行，常见问题包括亲核试剂作为离去基团或直接断裂 C–N 单键。
• 尽管精确匹配准确率较低，无模板模型在 OOD 目标上生成的唯一和新颖反应数量多于 ID 目标，表明其试图超越训练分布进行外推。
• Chemformer 在 ID 反应上的有效性最高（98.6%），但其唯一性（15.6%）和新颖性（1.4%）最低，表明其对常见模式存在过拟合。
• Retroformer 和 Transformer 生成的新颖模板多于 Chemformer，但其 OOD 预测准确率并未相应提升，表明其在真正新颖案例上的泛化能力较差。
• 表现最佳模型（Retroformer）在 OOD 反应上的往返准确率仅为 4.8%，证实其从预测前体重建有效反应路径的能力有限。

Figure 2: Examples of (a) correctly predicted and (b) popular novel reaction templates generated by Transformer, Retroformer, and Chemformer. The number of reactions corresponding to each reaction template in the dataset or predicted by each model is written below each example reaction.