[論文レビュー] Towards Better Opioid Antagonists Using Deep Reinforcement Learning

Jianyuan Deng, Zhibo Yang+3 more|arXiv (Cornell University)|Mar 26, 2020

Computational Drug Discovery Methods参考文献 30被引用数 11

ひとこと要約

本研究は、脳への蓄積を向上させ、強力な拮抗作用を示す新しいオピオイド拮抗薬を発見するため、マルチオブジェクティブな深層強化学習（DRL）フレームワークを提案する。pIC50の高さ、最適なlogPおよびlogS、分子量の低さを最適化する報酬関数を用いることで、有効で新規かつ合成可能である分子が生成され、ナルキソンの代替薬の改善を加速する可能性を示している。

ABSTRACT

Naloxone, an opioid antagonist, has been widely used to save lives from opioid overdose, a leading cause for death in the opioid epidemic. However, naloxone has short brain retention ability, which limits its therapeutic efficacy. Developing better opioid antagonists is critical in combating the opioid epidemic.Instead of exhaustively searching in a huge chemical space for better opioid antagonists, we adopt reinforcement learning which allows efficient gradient-based search towards molecules with desired physicochemical and/or biological properties. Specifically, we implement a deep reinforcement learning framework to discover potential lead compounds as better opioid antagonists with enhanced brain retention ability. A customized multi-objective reward function is designed to bias the generation towards molecules with both sufficient opioid antagonistic effect and enhanced brain retention ability. Thorough evaluation demonstrates that with this framework, we are able to identify valid, novel and feasible molecules with multiple desired properties, which has high potential in drug discovery.

研究の動機と目的

• ナルコキソン（オピオイド大量投与の第一選択薬）の脳への蓄積が限定的であることが、その有効性を制限し、繰り返し投与を必要としているため、これを解決すること。
• 化学的スクリーニングの膨大な作業を置き換え、データ駆動型で勾配に基づく深層強化学習アプローチを用いて、より優れたオピオイド拮抗薬の発見を加速すること。
• 高いオピオイド拮抗作用（pIC50 > 6）、強化された血脳関門透過性（logP > 1.94、MW < 327.37）、良好な溶解性（logS > -2.67）を併せ持つ最適な組み合わせを持つリード化合物を同定すること。
• 中枢神経系（CNS）薬物開発に不可欠な複数の物理的・化学的性質をバランスさせる、カスタマイズ可能なマルチオブジェクティブDRLフレームワークの開発

提案手法

• 190万個のSMILES文字列を学習させたシーケンスベースの生成モデル（RNN）を統合した深層強化学習フレームワークを構築し、化学的に有効な分子を生成する。
• マルチプロパティ予測モデルが、各生成されたSMILES文字列について、pIC50、logP、logS、分子量の主な薬物特性を推定する。
• 独自に設計したマルチオブジェクティブ報酬関数が、無効なSMILESをペナルティ化し、高い拮抗作用、最適な親水性・親油性、溶解性、低分子量の分子を促進する。
• DRLエージェントが報酬を用いて生成モデルを繰り返し微調整し、ポリシー勾配を用いて望ましい特性プロファイルに向けた分子生成をガイドする。
• エピソード単位で訓練が行われ、構文的妥当性、化学的妥当性、新規性、一意性のメトリクスを用いて性能を監視する。
• リード化合物は、pIC50、logP、logS、MWの事前定義されたしきい値を用いて生成サンプルからフィルタリングされ、合成可能性（SASスコア）が合成可能性の評価に用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、ナルキソンと比較して脳への蓄積性が向上した新しいオピオイド拮抗薬を、膨大な化学空間を的確に探索して効率的に発見できるか？
• RQ2 報酬関数に複数の目的を組み合わせることで、作用強度、親油性、溶解性、分子量といった相反する分子特性をどれほどうまくバランスできるか？
• RQ3 トレーニングの反復回数を経ても、生成された分子が高い妥当性、新規性、一意性を維持できるか、その程度はどの程度か？
• RQ4 DRLフレームワークは、インシリコでの有望性に加え、低い合成可能性スコア（SAS）によって示されるように、実際に合成可能な分子を生成できるか？
• RQ5 DRLを用いない場合と比較して、DRLで生成された分子の構造的複雑性と実現可能性は、それぞれどのように異なるか？

主な発見

• 160回目のトレーニングエピソードで、DRLフレームワークは生成されたSMILES文字列について96.77％の構文的妥当性と95.90％の化学的妥当性を達成した。
• フレームワークは、pIC50 > 6、logP > 1.94、logS > -2.67、MW < 327.37を満たす、新規で有効かつ一意な分子を6つ生成した。これは、脳への蓄積性と作用強度の向上を示している。
• 6つのすべてのリード化合物が、SASスコア1.40～3.12の範囲にあり、実験室での合成が極めて容易であることを示している。
• 一方、RLトレーニングなしの0回目のエピソードでは、3つの分子しか同定できず、すべてSAS値6以上（合成が困難）であった。
• DRLフレームワークは、生成された分子の分布を望ましいマルチプロパティプロファイルにうまくシフトさせ、主要な特性において高い収束性を示しながらも、高い新規性を維持した。
• 適切に設計されたDRL、特にペナルティベースの報酬を用いることで、新規分子生成における複数の薬物開発の目的を効果的にバランスさせられることを示している。