[論文レビュー] Mind the Retrosynthesis Gap: Bridging the divide between Single-step and Multi-step Retrosynthesis Prediction

Alan Kai Hassen, Paula Torren-Peraire+4 more|arXiv (Cornell University)|Dec 12, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

本研究は、モンテカルロ木探索（MCTS）およびRetro*を用いたマルチステップ計画フレームワーク内において、局所的レトロ（LocalRetro）、MHNreact、Chemformerなどの最先端のワンステップレトロ合成モデルをベンチマークすることで、ワンステップとマルチステップレトロ合成の間のギャップを埋めることを目的としている。ワンステップモデルの性能がマルチステップ性能に顕著な影響を与えることが示され、LocalRetroは、最も広く使用されているモデルと比較して、解法可能率を+30.0%（80.6%）向上させ、解法ルートの数を3倍にした。これは、ワンステップモデルを単独で評価するのではなく、マルチステップ応用を念頭に置いた開発と評価が不可欠であることを示している。

ABSTRACT

Retrosynthesis is the task of breaking down a chemical compound recursively step-by-step into molecular precursors until a set of commercially available molecules is found. Consequently, the goal is to provide a valid synthesis route for a molecule. As more single-step models develop, we see increasing accuracy in the prediction of molecular disconnections, potentially improving the creation of synthetic paths. Multi-step approaches repeatedly apply the chemical information stored in single-step retrosynthesis models. However, this connection is not reflected in contemporary research, fixing either the single-step model or the multi-step algorithm in the process. In this work, we establish a bridge between both tasks by benchmarking the performance and transfer of different single-step retrosynthesis models to the multi-step domain by leveraging two common search algorithms, Monte Carlo Tree Search and Retro*. We show that models designed for single-step retrosynthesis, when extended to multi-step, can have a tremendous impact on the route finding capabilities of current multi-step methods, improving performance by up to +30% compared to the most widely used model. Furthermore, we observe no clear link between contemporary single-step and multi-step evaluation metrics, showing that single-step models need to be developed and tested for the multi-step domain and not as an isolated task to find synthesis routes for molecules of interest.

研究の動機と目的

• ワンステップレトロ合成モデルのマルチステップ合成計画への転送可能性を調査すること。
• ワンステップモデルの性能指標（例：top-k正解率）とマルチステップの解法可能率との相関関係を評価し、高いワンステップ正解率が強力なマルチステップ性能を保証するという仮定に疑問を呈すること。
• 推論速度やモデル最適化などの要因が、マルチステップ探索アルゴリズム内でのワンステップモデルの有効性に与える影響を特定すること。
• ワンステップモデルを単独のタスクとしてではなく、マルチステップ応用を念頭に置いた開発と評価を提唱すること。
• 標準化された探索アルゴリズム（MCTSおよびRetro*）を用いて、最先端のワンステップモデルをマルチステップレトロ合成においてベンチマーク化すること。

提案手法

• 著者らは、モンテカルロ木探索（MCTS）およびRetro*という2つのマルチステップ探索アルゴリズム内において、局所的レトロ（LocalRetro）、MHNreact、Chemformer、テンプレートベース、AIzynthFinderの5つの最先端ワンステップレトロ合成モデルを評価した。
• ワンステップの学習および評価にはUSPTO-50kデータセットを用い、同じモデルをマルチステップレトロ合成計画に適用してルート探索の成功度を評価した。
• 性能は、有効な合成ルートが見つかるターゲット分子の割合（解法可能率）と推論時間で測定され、実際のマルチステップ計画制約を反映させるためにCPU環境下での評価が行われた。
• ワンステップのtop-k正解率とマルチステップの解法可能率の対比を評価することで、指標の整合性を検証したが、両者の間に明確な相関は認められなかった。
• バッチサイズが1（マルチステップ計画の一般的な状況）の条件下でのモデルコール時間の測定により、推論速度を分析した。その結果、MHNreactなど一部のモデルはバッチサイズが低下すると顕著な性能劣化を示した。
• 本研究は、マルチステップ探索パイプラインにおけるCPU推論および低遅延デプロイメントを最適化したワンステップモデルの重要性を強調している。

実験結果

リサーチクエスチョン

• RQ1 高水準のtop-k正解率を示すワンステップレトロ合成モデルが、どの程度マルチステップの解法可能率の向上に寄与するか。
• RQ2 ワンステップ評価指標（例：top-k正解率）とマルチステップ性能（例：ルート解法可能率）との間に強い相関関係があるか。
• RQ3 ワンステップモデルの推論速度およびバッチ処理効率が、マルチステップレトロ合成計画における性能にどのように影響を与えるか。
• RQ4 MCTSやRetro*のような探索アルゴリズムに統合された最先端のワンステップモデルが、マルチステップルート探索を顕著に改善できるか。
• RQ5 ワンステップモデルをマルチステップ計画に移行する際の主なボトルネックは何か。また、それらはどのように是正できるか。

主な発見

• 最良のワンステップモデルとして評価されたLocalRetroは、最も広く使用されているモデルと比較して、マルチステップの解法可能率を+30.0%（80.6%）向上させ、ルート探索における顕著な性能向上を示した。
• ワンステップのtop-k正解率とマルチステップの解法可能率との間に明確な相関は認められず、高いワンステップ正解率がマルチステップ性能を保証するわけではないことが示された。
• MHNreactおよびChemformerは、高いワンステップ正解率を示したが、バッチサイズが1の状況での遅延が大きく、マルチステップ計画においては性能を発揮できなかった。これは、遅延が探索効率に与える影響を浮き彫りにした。
• GPU推論および大バッチ処理を最適化したワンステップモデルは、通常CPU上で1サンプルずつ推論を行うマルチステップ計画では性能を発揮しなく、デプロイメント環境の不一致が顕著に現れた。
• LocalRetroを採用した場合、ベースラインモデルと比較して解法ルートの数が3倍に増加した。これは、モデル選定がマルチステップ計画の結果に与える変容的影響を強調している。
• 結果から、ワンステップモデルは単独のタスクとして評価するのではなく、マルチステップ応用を念頭に置いて開発・評価されるべきであることが強調された。孤立したワンステップ評価では、現実世界の合成計画成功を予測することは不十分である。