[論文レビュー] Retro*: Learning Retrosynthetic Planning with Neural Guided A* Search

Binghong Chen, Chengtao Li+2 more|arXiv (Cornell University)|Jun 29, 2020

Asymmetric Hydrogenation and Catalysis被引用数 42

ひとこと要約

tldr: Retro* は、AND-OR ツリーとオフラインで学習した価値推定を用いたニューラルガイド付きの A* 風レトロシンセシス計画アルゴリズムで、高品質な合成経路を効率的に見つけ、USPTOベンチマークで従来手法を上回ります。

ABSTRACT

Retrosynthetic planning is a critical task in organic chemistry which identifies a series of reactions that can lead to the synthesis of a target product. The vast number of possible chemical transformations makes the size of the search space very big, and retrosynthetic planning is challenging even for experienced chemists. However, existing methods either require expensive return estimation by rollout with high variance, or optimize for search speed rather than the quality. In this paper, we propose Retro*, a neural-based A*-like algorithm that finds high-quality synthetic routes efficiently. It maintains the search as an AND-OR tree, and learns a neural search bias with off-policy data. Then guided by this neural network, it performs best-first search efficiently during new planning episodes. Experiments on benchmark USPTO datasets show that, our proposed method outperforms existing state-of-the-art with respect to both the success rate and solution quality, while being more efficient at the same time.

研究の動機と目的

• 膨大な探索空間の中で、効率的かつ高品質な多段階レトロシンセシス計画を動機づける。
• 有望な経路へ展開を偏らせるための、ニューラルガイド付きの単一プレイヤー探索（AND-OR ツリー）を開発する。
• 計画データからオフラインで V_m 値を学習し、オンライン探索を導くことで効率と品質を向上させる。
• 専門家の判断を必要としない多段階レトロシンセシス手法を評価するためのベンチマークデータセットと指標を提供する。

提案手法

• 分子（OR）ノードと反応（AND）ノードを持つ AND-OR 探索木としてレトロシンセシスを表現する。
• ノード選択が学習済みの価値関数 V_t(m|T)（g_t と h_t の成分に分解）に依存する、A* のような探索を使用する。
• 反応数 rn(·|T) を定義し、木構造から V_t(m|T) を導出して展開を低コスト経路へ誘導する。
• Morgan フィンガープリントを用いた回帰目的関数と一貫性項を組み合わせたオフライン計画データから V_m を訓練し、経路コストを尊重する。
• 前線の分子を一歩のレトロシンセモデル B で展開し、木全体で V_t をボトムアップでキャッシュ的に更新する。
• 訓練とベンチマークのために USPTO データから合成経路を生成するデータ収集パイプラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルガイド付きの単一プレイヤー AND-OR 探索が効率的に高品質なレトロシンセシス経路を見つけられるか？
• RQ2 分子コスト V_m のオフライン学習が、非学習ベースと比較して探索効率と解の品質を向上させるか？
• RQ3 USPTO由来のベンチマークにおける成功率、経路長、総コストの観点で、Retro* は DFPN-E および MCTS ベースのアプローチとどう比較されるか？

主な発見

Algorithm	Success rate	Time	Shorter routes	Better routes
Retro*	86.84%	156.58	50	112
Retro*-0	79.47%	208.58	52	102
DFPN-E+	53.68%	289.42	59	22
DFPN-E	55.26%	279.67	59	25
MCTS+	35.79%	365.21	18	46
MCTS	33.68%	370.51	14	41
Greedy DFS	22.63%	388.15	11	26

• Retro* はテストセットで 86.84% の成功率を達成し、DFPN-E+ や MCTS 系の競合を上回った。
• 同じ時間予算で、Retro* は2番手の手法（DFPN-E）よりテスト分子を31%多く解く。
• Retro* の解の中で、50経路が専門家の経路より短く、112は総コストでより良い。
• Retro*-0（V_m=0）のアブレーションは、成功率を約6ポイント低下させ、学習の利点を示している。
• 学習済み V_m を MCTS+ および DFPN-E+ と組み合わせて使用すると、それらの性能が向上し、価値関数の有用性がプランナー間で示される。
• Retro* はより多くの時間（より多くのワンステップ呼び出し）で成功率の向上がベースラインより速いことを示す。