[論文レビュー] Data Transfer Approaches to Improve Seq-to-Seq Retrosynthesis

Katsuhiko Ishiguro, Kazuya Ujihara+3 more|arXiv (Cornell University)|Oct 2, 2020

Machine Learning in Materials Science参考文献 39被引用数 4

ひとこと要約

本稿は、序列変換反応予測モデルの性能向上を目的として、事前学習＋微調整、共同学習、自己学習の3つのデータ転送手法を調査している。USPTO-50Kデータセットを用いて、より大規模かつクリアなデータセットで事前学習を行うことで、テスト精度が著しく向上することを示し、n=10およびn=20の状況で最先端の性能を達成した。誤りであってもトップ1予測の99％以上が化学的に妥当であることが確認された。

ABSTRACT

Retrosynthesis is a problem to infer reactant compounds to synthesize a given product compound through chemical reactions. Recent studies on retrosynthesis focus on proposing more sophisticated prediction models, but the dataset to feed the models also plays an essential role in achieving the best generalizing models. Generally, a dataset that is best suited for a specific task tends to be small. In such a case, it is the standard solution to transfer knowledge from a large or clean dataset in the same domain. In this paper, we conduct a systematic and intensive examination of data transfer approaches on end-to-end generative models, in application to retrosynthesis. Experimental results show that typical data transfer methods can improve test prediction scores of an off-the-shelf Transformer baseline model. Especially, the pre-training plus fine-tuning approach boosts the accuracy scores of the baseline, achieving the new state-of-the-art. In addition, we conduct a manual inspection for the erroneous prediction results. The inspection shows that the pre-training plus fine-tuning models can generate chemically appropriate or sensible proposals in almost all cases.

研究の動機と目的

• エンドツーエンドのseq-to-seq反応予測モデルの性能向上に、データ転送手法が有効であるかを調査すること。
• 小規模でノイズの多い反応予測データセットに対して、標準的なデータ転送手法（事前学習＋微調整、共同学習、自己学習）の有効性を評価すること。
• 手動による検査を通じて、モデルの予測結果の化学的妥当性および実用的有用性を評価すること。
• より大規模で高品質なデータセットからの知識転送が、ターゲットの反応予測タスクにおける汎化性能と正確性を向上させることを特定すること。

提案手法

• 著者らは3つのデータ転送手法を適用した：大規模でクリアなデータセット（USPTO-Full）で事前学習を行い、その後ターゲットデータセット（USPTO-50K）で微調整する方法；両データセットを同時に使用する共同学習；ターゲットモデルからの擬似ラベルを用いた自己学習。
• ベースモデルは、SMILES形式の反応データを用いて学習された、市販のTransformerアーキテクチャであり、反応予測を機械翻訳問題として扱っている。
• 事前学習段階では、全USPTO-Fullデータセットを用いて一般の反応パターンを学習し、その後、より小さなUSPTO-50Kデータセットで微調整することで、タスク固有の分布に適応させる。
• モデル性能は、n=1, 3, 5, 10, 20, 50におけるn-best精度を用いて評価され、既存の最先端モデルと比較した。
• 誤った予測の手動による検査を通じて、生成された反応物セットの化学的妥当性を評価した。
• 追加のアブレーションスタディでは、データセットサイズの増大と学習ダイナミクスの影響を検討し、1-bestとn-best精度曲線の違いについても分析した。

実験結果

リサーチクエスチョン

• RQ1 データ転送手法は、小規模またはノイズの多いデータセットにおけるseq-to-seq反応予測モデルの性能向上に寄与するか？
• RQ2 事前学習＋微調整、共同学習、自己学習のうち、どのデータ転送手法が予測精度を最も向上させるか？
• RQ3 誤りであっても、転送されたモデルが生成する反応物提案の化学的妥当性はどの程度高いか？
• RQ4 増強データセットのサイズが、転送モデルの汎化性能にどのように影響するか？
• RQ5 転送手法は、特に困難な反応クラス（例：結合形成・環形成）に対しても、予測精度を向上させるか？

主な発見

• 事前学習＋微調整手法がUSPTO-50Kデータセットで最先端の性能を達成し、n=10およびn=20においてそれぞれ87.4％および89.6％のn-best精度を達成した。
• 1-best精度は57.4％に達し、ベースラインのTransformerモデルを著しく上回り、多数の先行SotAモデルをも上回った。
• 手動による検査の結果、誤りであってもトップ1予測の99％以上が化学的に妥当または妥当と見なせることが判明した。
• 事前学習＋微調整アプローチは、10の主要反応クラスすべてにおいてクラスワイドな精度を向上させ、特に困難な結合形成・環形成反応の予測精度を顕著に向上させた。
• 1-bestとn-best精度曲線は、特に単一学習ベースラインにおいて、異なるトレンドを示しており、学習の監視戦略の再評価が求められることを示唆している。
• USPTO-FullデータセットはUSPTO-50Kに転送可能であることが示され、小規模またはバイアスの強いデータセットに対して、反応予測におけるデータ転送の広範な応用可能性が示唆された。