[论文解读] Data Transfer Approaches to Improve Seq-to-Seq Retrosynthesis

Katsuhiko Ishiguro, Kazuya Ujihara+3 more|arXiv (Cornell University)|Oct 2, 2020

Machine Learning in Materials Science参考文献 39被引用 4

一句话总结

本文研究了数据迁移技术——特别是预训练加微调、联合训练和自训练——以改进序列到序列的逆合成模型。基于 USPTO-50K 数据集，研究证明在更大、更清洁的数据集上进行预训练能显著提升测试准确率，在 n=10 和 n=20 时达到最先进性能，即使预测结果错误，超过 99% 的 top-1 预测结果在化学上依然合理。

ABSTRACT

Retrosynthesis is a problem to infer reactant compounds to synthesize a given product compound through chemical reactions. Recent studies on retrosynthesis focus on proposing more sophisticated prediction models, but the dataset to feed the models also plays an essential role in achieving the best generalizing models. Generally, a dataset that is best suited for a specific task tends to be small. In such a case, it is the standard solution to transfer knowledge from a large or clean dataset in the same domain. In this paper, we conduct a systematic and intensive examination of data transfer approaches on end-to-end generative models, in application to retrosynthesis. Experimental results show that typical data transfer methods can improve test prediction scores of an off-the-shelf Transformer baseline model. Especially, the pre-training plus fine-tuning approach boosts the accuracy scores of the baseline, achieving the new state-of-the-art. In addition, we conduct a manual inspection for the erroneous prediction results. The inspection shows that the pre-training plus fine-tuning models can generate chemically appropriate or sensible proposals in almost all cases.

研究动机与目标

• 探究数据迁移方法是否能提升端到端序列到序列逆合成模型的性能。
• 评估标准数据迁移方法——预训练加微调、联合训练和自训练——在小规模、噪声较大的逆合成数据集上的有效性。
• 通过人工检查评估模型预测结果的化学有效性和实际可用性。
• 确定从更大、高质量数据集迁移知识是否能提升目标逆合成任务的泛化能力和准确性。

提出的方法

• 作者应用三种数据迁移方法：在大规模、高质量数据集（USPTO-Full）上进行预训练，随后在目标数据集（USPTO-50K）上进行微调；使用两个数据集同时进行联合训练；以及利用目标模型生成的伪标签进行自训练。
• 基础模型为现成的 Transformer 架构，基于 SMILES 格式的反应数据进行训练，将逆合成视为机器翻译问题。
• 预训练阶段使用完整的 USPTO-Full 数据集学习通用反应模式，随后在较小的 USPTO-50K 数据集上进行微调，以适应特定任务的分布。
• 通过 n=1、3、5、10、20、50 的 n-best 准确率评估模型性能，并与现有最先进模型进行比较。
• 对错误预测结果进行人工检查，以评估生成的反应物组合的化学合理性。
• 额外的消融研究考察了增强数据集大小和训练动态的影响，包括 1-best 与 n-best 准确率曲线的差异。

实验结果

研究问题

• RQ1 数据迁移技术能否提升序列到序列逆合成模型在小规模或噪声数据集上的性能？
• RQ2 在预训练加微调、联合训练和自训练三种方法中，哪一种能带来最高的预测准确率提升？
• RQ3 即使预测结果错误，迁移模型生成的反应物提案在多大程度上具有化学合理性？
• RQ4 增强数据集的大小如何影响迁移模型的泛化性能？
• RQ5 迁移方法是否在所有主要反应类别中均提升预测准确率，尤其是如键/环形成等困难类别？

主要发现

• 预训练加微调方法在 USPTO-50K 数据集上达到最先进性能，在 n=10 和 n=20 时分别取得 87.4% 和 89.6% 的 n-best 准确率，优于先前模型。
• 该模型实现 57.4% 的 1-best 准确率，显著优于基线 Transformer 模型，并超越多个先前的最先进模型。
• 人工检查显示，即使未匹配标准答案，超过 99% 的 top-1 预测结果在化学上合理或可接受。
• 预训练加微调方法在全部 10 个主要反应类别中均提升了分类准确率，尤其显著改善了键形成和环形成等困难反应的预测。
• 1-best 和 n-best 准确率曲线在训练过程中演化方式不同，尤其是在单次训练基线中尤为明显，提示需要重新评估训练监控策略。
• USPTO-Full 数据集可成功迁移至 USPTO-50K，表明数据迁移在逆合成任务中具有更广泛应用潜力，尤其适用于小规模或有偏差的数据集。