[論文レビュー] Retrosynthetic Planning with Dual Value Networks

Guoqing Liu, Di Xue+8 more|arXiv (Cornell University)|Jan 31, 2023

AI-based Problem Solving and Planning被引用数 5

ひとこと要約

本稿では、完全な合成経路の最適化を目的として単一ステップ反応予測子を訓練する強化学習フレームワークである Planning with Dual Value Networks (PDVN) を提案する。2つの別個の価値ネットワーク（合成可能性とコスト）と2本の分岐を持つ方策ネットワークを用いることで、成功確率（例：Retro* で 85.79% から 98.95% に向上）を向上させるとともに、経路長とモデル呼び出し回数を削減し、USPTO や難易度の高いデータセットにおいて最先端の性能を達成した。

ABSTRACT

Retrosynthesis, which aims to find a route to synthesize a target molecule from commercially available starting materials, is a critical task in drug discovery and materials design. Recently, the combination of ML-based single-step reaction predictors with multi-step planners has led to promising results. However, the single-step predictors are mostly trained offline to optimize the single-step accuracy, without considering complete routes. Here, we leverage reinforcement learning (RL) to improve the single-step predictor, by using a tree-shaped MDP to optimize complete routes. Specifically, we propose a novel online training algorithm, called Planning with Dual Value Networks (PDVN), which alternates between the planning phase and updating phase. In PDVN, we construct two separate value networks to predict the synthesizability and cost of molecules, respectively. To maintain the single-step accuracy, we design a two-branch network structure for the single-step predictor. On the widely-used USPTO dataset, our PDVN algorithm improves the search success rate of existing multi-step planners (e.g., increasing the success rate from 85.79% to 98.95% for Retro*, and reducing the number of model calls by half while solving 99.47% molecules for RetroGraph). Additionally, PDVN helps find shorter synthesis routes (e.g., reducing the average route length from 5.76 to 4.83 for Retro*, and from 5.63 to 4.78 for RetroGraph). Our code is available at \url{https://github.com/DiXue98/PDVN}.

研究の動機と目的

• 単一ステップ予測子の訓練を単なる正答率の向上にとどめず、完全な合成経路の観点を考慮しない既存の機械学習ベースの前向き合成手法の限界を解消すること。
• 完全な合成経路の質を最適化する強化学習による単一ステップ予測子の訓練を通じて、マルチステッププランナを改善すること。
• 前向き合成の目的関数を、合成可能性とコストという2つの明確に分離された価値関数に分解し、より効果的な方策学習を実現すること。
• 二本の分岐を持つネットワークアーキテクチャにより、単一ステップ予測の高精度を維持しながら、経路の完全性と効率性を最適化すること。
• USPTO、ChEMBL-1000、GDB17-1000 といった標準ベンチマークにおいて、最先端の性能を示すことを実証すること。

提案手法

• PDVN は、前向き合成計画を逐次的意思決定問題としてモデル化するため、木構造のマルコフ決定過程（MDP）を用いる。
• 訓練フェーズでは、現在のネットワークを用いて合成経験をシミュレートする計画フェーズと、訓練ターゲットを抽出してネットワークを更新する更新フェーズを交互に繰り返す。
• 合成可能性の予測と合成コストの予測の2つの別個の価値ネットワークを用いる。
• 2本の分岐を持つ方策ネットワークは、固定の事前学習済みモデルと、経路品質のための反応確率分布を最適化する学習可能な分岐を組み合わせることで、単一ステップ予測の正確性を保持する。
• PUCT アルゴリズムを変更し、木探索において両方の価値ネットワークを活用し、高品質で低コストかつ合成可能な経路へと探索を誘導する。
• シミュレートされた軌道からの経験リプレイを用いたオンライン学習により、方策および価値ネットワークの継続的改善が可能になる。

実験結果

リサーチクエスチョン

• RQ1 強化学習により、単一ステップ反応予測子の性能を単一ステップの正答率を超えて、完全な前向き合成経路の最適化にまで向上させることは可能か？
• RQ2 前向き合成の目的関数を合成可能性とコストという2つの価値関数に分解することで、より優れた経路品質と成功確率が達成できるか？
• RQ3 2本の分岐を持つ方策ネットワークは、高精度な単一ステップ予測を維持しながら、より優れたマルチステップ経路を生成する学習が可能か？
• RQ4 ChEMBL-1000 や GDB17-1000 のような難易度の高い多様なデータセットにおいて、PDVN はベースラインプランナーよりも優れた性能を示すか？
• RQ5 各構成要素（合成可能性 vs コスト価値ネットワーク）が全体の性能向上に果たす寄与度はどの程度か？

主な発見

• PDVN は USPTO 190 テストセットにおいて、Retro* の成功確率を 85.79% から 98.95% に向上させ、経路の完成度が著しく向上した。
• RetroGraph では、モデル呼び出し回数を半減させながら 99.47% の分子を解消し、最先端の性能を達成した。
• Retro* では平均経路長が 5.76 ステップから 4.83 ステップに、RetroGraph では 5.63 ステップから 4.78 ステップに短縮され、より短く効率的な経路が得られた。
• ChEMBL-1000 では、Retro* がベースラインから 762 個から 835 個に、GDB17-1000 では 95 個から 269 個に解ける分子数が増加した。
• アブレーションスタディの結果、合成可能性価値ネットワークとコスト価値ネットワークの両方が不可欠であることが確認され、いずれかを削除すると成功確率が低下し、経路長が延びた。
• 事例スタディでは、PDVN が化学的に妥当な経路を生成し、かつ元来未解決であった分子に対しても、元の経路より1ステップ短い経路を生成した。