[论文解读] Learning to Make Generalizable and Diverse Predictions for Retrosynthesis

Benson Chen, Tianxiao Shen+2 more|arXiv (Cornell University)|Oct 21, 2019

Machine Learning in Materials Science参考文献 26被引用 52

一句话总结

该论文通过两种预训练策略和一个离散混合模型扩展分子Transformer，以提升单步回路合成的泛化能力和输出多样性，在USPTO-50k上的top-10准确率更高，并展示更丰富的输出。

ABSTRACT

We propose a new model for making generalizable and diverse retrosynthetic reaction predictions. Given a target compound, the task is to predict the likely chemical reactants to produce the target. This generative task can be framed as a sequence-to-sequence problem by using the SMILES representations of the molecules. Building on top of the popular Transformer architecture, we propose two novel pre-training methods that construct relevant auxiliary tasks (plausible reactions) for our problem. Furthermore, we incorporate a discrete latent variable model into the architecture to encourage the model to produce a diverse set of alternative predictions. On the 50k subset of reaction examples from the United States patent literature (USPTO-50k) benchmark dataset, our model greatly improves performance over the baseline, while also generating predictions that are more diverse.

研究动机与目标

• 解决模板无关的回路合成模型在罕见反应上的泛化差距。
• 提高给定目标分子预测的反应物集合的多样性。
• 利用化学意义明确的预训练任务来初始化回路合成模型。
• 引入离散潜变量混合以产生多样的预测模式。
• 在USPTO-50k和模板分割数据上进行评估，展示更高的准确性和多样性。

提出的方法

• 使用基于Transformer的seq2seq模型将目标SMILES映射到反应物SMILES。
• 引入两种化学信息学对齐的预训练方案：随机断键分解和基于模板的分解。
• 在反应上引入离散潜变量混合，以产生多种预测模式。
• 通过在线硬EM训练以促使潜在组件的专业化。
• 在USPTO-50k和模板分割数据上以Top-10准确率和多样性指标进行评估。

实验结果

研究问题

• RQ1 化学基础的预训练能否提升回路合成Transformer的泛化能力？
• RQ2 离散混合模型是否能带来更具多样性和区分性的反应预测？
• RQ3 预训练和混合组件如何与标准增强一起影响Top-k准确率？
• RQ4 在具有挑战性的分割上，模板无关的回路合成是否具有与基于模板的基线竞争力？
• RQ5 以独特反应类别和人工评估为度量，对多样性的影响如何？

主要发现

• 预训练（随机或模板-based）在与数据增强结合时，相比基线能提升准确性。
• 更多潜在类别（K）通常带来更高的Top-10准确率，但对Top-1准确率有取舍。
• 混合模型增加预测多样性，混合模型预测的独特反应类别多于基础模型。
• 在模板分割中，模板基方法失效的情况下，混合/预训练方法仍可实现显著的Top-10准确率（26.6% 对 20.6% 基线）。
• 人工评估显示混合模型在多样性方面通常被评为比基模型更具多样性（43 对 21 次有利判断）。
• 罕见反应子集的结果表明，当模板基模型表现不佳时，混合与预训练能提供泛化提升。