[論文レビュー] De novo Drug Design using Reinforcement Learning with Multiple GPT Agents

Xiuyuan Hu, Guoqing Liu+2 more|arXiv (Cornell University)|Dec 21, 2023

Computational Drug Discovery Methods被引用数 6

ひとこと要約

本論文では、化学的空間の異なる方向へ協同的探索を促進することで、多様で高得点のドラッグ分子を生成する複数のGPTベースのエージェントを用いたマルチエージェント強化学習フレームワーク、MolRL-MGPTを提案する。この手法はGuacaMolベンチマークで最先端の性能を達成し、高い結合親和性とドラッグライクネスを示す有望なSARS-CoV-2阻害剤を同定した。

ABSTRACT

De novo drug design is a pivotal issue in pharmacology and a new area of focus in AI for science research. A central challenge in this field is to generate molecules with specific properties while also producing a wide range of diverse candidates. Although advanced technologies such as transformer models and reinforcement learning have been applied in drug design, their potential has not been fully realized. Therefore, we propose MolRL-MGPT, a reinforcement learning algorithm with multiple GPT agents for drug molecular generation. To promote molecular diversity, we encourage the agents to collaborate in searching for desirable molecules in diverse directions. Our algorithm has shown promising results on the GuacaMol benchmark and exhibits efficacy in designing inhibitors against SARS-CoV-2 protein targets. The codes are available at: https://github.com/HXYfighter/MolRL-MGPT.

研究の動機と目的

• デ・ノボドラッグ設計における多様で高得点のドラッグ分子の生成という課題に取り組む。
• 既存の強化学習ベース手法がしばしば類似した化合物を生成するという限界を克服する。
• マルチエージェント強化学習を活用し、化学的空間の多様な領域への探索を強化する。
• ターゲット特異的ドラッグ設計において、分子の多様性を向上させつつ高い特性スコアを維持する。
• GSK3βやJNK3といったベンチマークタスクに加え、SARS-CoV-2ターゲット阻害という現実世界のドラッグディスカバリープロブレムに対してもフレームワークの妥当性を検証する。

提案手法

• 分子設計を、事前学習済みのSMILESパラメータを共有する複数の軽量GPTエージェントを有する協力的マルコフゲームとして扱う。
• スコア関数に基づく報酬関数を用いて、望ましい分子特性を最適化する共通の最適化目的関数を採用する。
• エージェントが異なる方向へ探索を促進するよう補助損失を組み込み、分子の多様性を向上させる。
• 経験再生（ER）と、徐々に減少する探索ノイズ（σ₁）のスケジュールを導入することで、学習の安定性と収束性を向上させる。
• 以前に生成されたものと非常に類似した分子の生成を抑えるために、類似性ペナルティ戦略を適用する。
• 各エージェントが分子を生成し、予測された特性に基づいて報酬を受けるという反復的強化学習によりエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 複数のGPTエージェントがマルチエージェント強化学習フレームワーク内で協力することで、デ・ノボドラッグ設計における分子の多様性を顕著に向上させることができるか？
• RQ2 方向性多様性損失を介してエージェントに異なる方向へ探索を促すことで、単一エージェント手法と比較して、性能と多様性の両面で優れた結果が得られるか？
• RQ3 経験再生や適応的探索ノイズ（σ₁）といった補助的コンponentsが、学習の安定性とスコア性能の向上にどの程度有効であったか？
• RQ4 提案されたフレームワークは、SARS-CoV-2タンパク質のような現実世界のターゲットに対して、高い結合親和性を示す高品質でドラッグライクな分子を生成できるか？
• RQ5 GFlowNet、Reinvent、JT-VAEなどの既存のベースラインと比較して、MolRL-MGPTは標準ベンチマークにおいてスコアと内部多様性の両面で優れているか？

主な発見

• GSK3βタスクにおいて、MolRL-MGPTは平均スコア1.000 ± 0.000および内部多様性0.362 ± 0.015を達成し、両指標ですべてのベースラインを上回った。
• JNK3タスクでは、平均スコア0.961 ± 0.010および内部多様性0.372 ± 0.025を達成し、比較されたすべてのベースラインを上回った。
• フレームワークは、SARS-CoV-2ターゲットに対して高い結合親和性を示す優れた分子を生成し、実用的応用の有効性を示した。
• アブレーションスタディの結果、方向性探索（ED）、経験再生（ER）、減少するσ₁スケジュール（DS）が性能向上に顕著に寄与した一方、類似性ペナルティ（SP）は恩恵をもたらさなかった。
• QED最大化タスクでは、平均スコア0.948 ± 0.000および内部多様性0.862 ± 0.004を達成し、多様性面ですべてのベースラインを上回り、スコア面でも同等または上回った。
• 4エージェントが最適なパフォーマンスを示し、8エージェントに増加させても結果に向上が見られなかったことから、マルチエージェント協力には飽和点が存在することが示された。