[論文レビュー] Towards "AlphaChem": Chemical Synthesis Planning with Tree Search and Deep Neural Network Policies

Marwin Segler, Mike Preuß+1 more|arXiv (Cornell University)|Jan 31, 2017

Machine Learning in Materials Science参考文献 7被引用数 15

ひとこと要約

本論文は、モンテカルロ木探索（MCTS）と深層ニューラルネットワーク方策を組み合わせた深層強化学習フレームワーク、AlphaChemを提案する。有機化学における逆合成計画をマークフ・決定過程（MDP）としてモデル化し、1,700万件の反応データで学習したニューラルネットワークを用いてMCTSを誘導することで、2時間以内に合成経路を特定する成功率が95％に達し、最先端のヒューリスティックベースの手法を上回った。

ABSTRACT

Retrosynthesis is a technique to plan the chemical synthesis of organic molecules, for example drugs, agro- and fine chemicals. In retrosynthesis, a search tree is built by analysing molecules recursively and dissecting them into simpler molecular building blocks until one obtains a set of known building blocks. The search space is intractably large, and it is difficult to determine the value of retrosynthetic positions. Here, we propose to model retrosynthesis as a Markov Decision Process. In combination with a Deep Neural Network policy learned from essentially the complete published knowledge of chemistry, Monte Carlo Tree Search (MCTS) can be used to evaluate positions. In exploratory studies, we demonstrate that MCTS with neural network policies outperforms the traditionally used best-first search with hand-coded heuristics.

研究の動機と目的

• 従来のエキスパートシステムが制限を受ける、扱いが困難な探索空間と高い分岐係数を解消すること。
• 逆合成における有効な価値関数近似の欠如により、切り捨て探索が非現実的になる問題を克服すること。
• 完全な公表済み化学文献から、化学的に直感的な「マスターモーブ」を自動で学習する深層学習の活用。
• モンテカルロ木探索とニューラル方策ネットワークを統合し、合成計画における探索効率と解の質を向上させること。
• 深層学習と木探索が、現実世界の化学合成計画において、手作業で設計されたヒューリスティクスを上回ることを実証すること。

提案手法

• 状態を分子の集合、行動を逆合成的変換とするマークフ決定過程（MDP）として逆合成をモデル化する。
• 分子をラベル付きグラフとして表現し、逆合成規則をグラフ生成規則として定義する。
• すべての可能な変換に関する確率分布を予測するため、ELU活性化関数とソフトマックス出力を持つ深層ハイウェイネットワークを訓練する（方策ネットワーク）。
• 方策ネットワークを用いてMCTSを誘導する：高い方策確率を持つ行動を選択し、上位50個の有望な行動のみを展開し、サンプリングされた行動を用いてロールアウトを実行する。
• 方策確率と訪問回数を用いて、探索と活用のバランスを取る修正版UCT式を用いる。
• 決定的遷移関数を適用し、解が得られた状態（すべての分子が既知の構築ブロック）には報酬+1、未解決の終端状態には報酬-1、それ以外は報酬0とする。

実験結果

リサーチクエスチョン

• RQ1 完全に公表済みの化学文献で学習した深層ニューラルネットワークは、手作業で設計されたヒューリスティクスよりも、高品質な逆合成的変換をより効果的に予測できるか？
• RQ2 学習済みニューラル方策を用いたモンテカルロ木探索は、逆合成計画における探索空間を顕著に縮小し、解の質を向上させられるか？
• RQ3 MCTSと深層ニューラル方策を組み合わせたアプローチは、エキスパートヒューリスティクスを用いた従来のベストファーストサーチに比べ、成功確率と計算効率の面で優れているか？
• RQ4 ニューラル方策は、規則適用に必要な部分グラフ同型性問題を近似可能であり、高コストなNP完全チェックの回数を削減できるか？
• RQ5 このフレームワークは、現実世界のドラッグライク分子にスケーリング可能であり、妥当な時間予算内で実用的な合成経路を提供できるか？

主な発見

• MCTSに深層ニューラルネットワーク方策を組み合わせた手法は、40個のテスト分子のうち95％を2時間以内に解けた。これは、手作業で設計されたヒューリスティクスを用いたベースラインのベストファーストサーチ（22.5％の成功率）を著しく上回った。
• MCTS+DNNアプローチの平均解法時間は1分子あたり68秒であったのに対し、より速いが精度が低いBFS+DNN手法は29秒であった。
• 深層ニューラルネットワーク方策は、変換予測タスクにおいてトップ1の正確度が62％、トップ50の正確度が98％を達成し、探索空間の有効なプルーニングを可能にした。
• 各状態で上位50個の行動のみを展開することで、部分グラフ同型性チェックの回数を約17,370回から50回に削減し、計算効率を著しく向上させた。
• BFSに深層ニューラルネットワーク方策を適用した手法は、87.5％のターゲットを解けたが、MCTS+DNNよりも2倍速かった。しかし、MCTS+DNNはより高い解のカバレッジと優れたスケーラビリティを示した。
• 結果から、深層学習とMCTSを統合することで、複雑な逆合成木のより効果的な探索が可能となり、自動合成計画への有望な道筋が示された。