[论文解读] Energy-based View of Retrosynthesis

Ruoxi Sun, Hanjun Dai+3 more|arXiv (Cornell University)|Jul 14, 2020

Machine Learning in Materials Science参考文献 30被引用 15

一句话总结

该论文提出了一种统一的能量基准模型（EBM）框架，整合了基于序列和基于图的逆合成模型，实现了模型设计的系统性比较与更深入的理解。该框架引入了一种新型的双EBM变体，在正向与反向预测方向上实现一致训练，在无模板逆合成任务中达到最先进性能，相比之前方法提升4.3%。

ABSTRACT

Retrosynthesis -- the process of identifying a set of reactants to synthesize a target molecule -- is of vital importance to material design and drug discovery. Existing machine learning approaches based on language models and graph neural networks have achieved encouraging results. In this paper, we propose a framework that unifies sequence- and graph-based methods as energy-based models (EBMs) with different energy functions. This unified perspective provides critical insights about EBM variants through a comprehensive assessment of performance. Additionally, we present a novel dual variant within the framework that performs consistent training over Bayesian forward- and backward-prediction by constraining the agreement between the two directions. This model improves state-of-the-art performance by 9.6% for template-free approaches where the reaction type is unknown.

研究动机与目标

• 在单一能量基准模型（EBM）框架下统一基于序列与基于图的逆合成模型，以促进理论理解与模型比较。
• 对不同EBM变体进行严格且全面的评估，以指导未来逆合成模型的设计。
• 开发一种新型广义双EBM变体，强制正向（反应产物）与反向（反应物预测）预测之间的一致性。
• 在训练过程中不依赖真实反应中心的情况下，提升无模板逆合成的最先进性能。

提出的方法

• 将逆合成建模为条件概率问题，使用能量函数 Eθ(X, y)，其中 X 为反应物，y 为产物，且 pθ(X|y) ∝ exp(−Eθ(X, y))。
• 通过不同架构实例化能量函数 Eθ，设计多种EBM变体：基于序列的（如Transformer）、基于图的（如GNN）或混合形式。
• 实现双损失函数，联合优化正向预测（pα(y|X)）与反向预测（pη(X|y)），并引入一致性约束以对齐两个方向。
• 在推理过程中使用提议机制（如基于模板或序列转换）生成候选反应物，然后根据能量得分 Eθ*(X, y) 对其进行排序。
• 使用最大似然估计与伪似然进行模型训练，归一化通过配分函数 Z(θ) 处理。
• 在训练中对SMILES字符串进行随机化处理，以引入顺序不变性，提升无图结构模型的泛化能力。

实验结果

研究问题

• RQ1 如何在单一理论框架下正式统一基于序列与基于图的逆合成模型？
• RQ2 在表达能力、训练与推理复杂度方面，不同EBM变体之间的关键差异与权衡是什么？
• RQ3 在正向与反向预测方向上的一致性训练是否能提升无模板逆合成中的模型性能？
• RQ4 该双EBM变体在模板化与无模板设置下，相较于现有最先进方法的性能提升程度如何？

主要发现

• 在已增强的USPTO数据集上，所提出的广义双EBM变体在已知反应类型时达到65.7%的Top-1准确率，相比之前最先进方法（RetroXpert）提升4.3%。
• 即使在训练过程中不依赖真实反应中心，该双模型仍比最佳半模板方法（G2Gs）提升1.6%的Top-1准确率。
• 消融实验证实，双损失中的每个组件——正向预测、反向预测与先验——均对性能有积极贡献，其中一致性约束在高准确率区域带来额外增益。
• 双重新排序显著改善候选反应物的排序效果：在一个示例中，真实反应物的排名从第3位提升至第1位，相较标准序列转换提议方法。
• 统一的EBM框架实现了对模型变体的系统性比较，揭示出基于图的模型天然受益于顺序不变性，而基于序列的模型则需通过数据增强（如SMILES打乱）实现类似鲁棒性。
• 该框架表明，在预测方向上实现一致训练可带来更可靠、更准确的逆合成预测，尤其在复杂或高精度区域表现更优。