[論文レビュー] Faster and more diverse de novo molecular optimization with double-loop reinforcement learning using augmented SMILES

Esben Jannik Bjerrum, Christian Margreitter+2 more|arXiv (Cornell University)|Oct 22, 2022

Molecular Junctions and Nanostructures被引用数 6

ひとこと要約

本稿では、SMILES拡張を用いた二重ループ強化学習フレームワークを提案し、de novo分子生成の加速と多様性向上を図る。内部ループで非標準SMILESバージョンを生成することで、繰り返しの反復において分子スコアリングを再利用し、計算コストを削減するとともに、サンプルの多様性、再現性、リガンド類似性が向上する。最適な性能が5–10回の拡張で達成された。

ABSTRACT

Using generative deep learning models and reinforcement learning together can effectively generate new molecules with desired properties. By employing a multi-objective scoring function, thousands of high-scoring molecules can be generated, making this approach useful for drug discovery and material science. However, the application of these methods can be hindered by computationally expensive or time-consuming scoring procedures, particularly when a large number of function calls are required as feedback in the reinforcement learning optimization. Here, we propose the use of double-loop reinforcement learning with simplified molecular line entry system (SMILES) augmentation to improve the efficiency and speed of the optimization. By adding an inner loop that augments the generated SMILES strings to non-canonical SMILES for use in additional reinforcement learning rounds, we can both reuse the scoring calculations on the molecular level, thereby speeding up the learning process, as well as offer additional protection against mode collapse. We find that employing between 5 and 10 augmentation repetitions is optimal for the scoring functions tested and is further associated with an increased diversity in the generated compounds, improved reproducibility of the sampling runs and the generation of molecules of higher similarity to known ligands.

研究の動機と目的

• 強化学習に基づくde novo分子生成における繰り返しの分子スコアリングに伴う高い計算コストを軽減すること。
• 生成モデルにおけるモード崩壊の緩和と分子設計におけるサンプルの多様性の向上。
• 複数のトレーニング反復において分子レベルのスコアリングを再利用することで、強化学習の効率性と再現性を向上させること。
• SMILES拡張が最適化速度、多様性、既知のリガンドとの類似性に与える影響を調査すること。

提案手法

• 外側のループでポリシー最適化、内側のループでSMILES拡張を実行する二重ループ強化学習構造を採用する。
• ランダム化技術を用いて標準SMILESから非標準SMILESバージョンを生成し、多様性を向上させる。
• 外側のループで事前に計算された分子スコアリングを複数の内側ループトレーニングステップにわたって再利用し、重複する評価を削減する。
• 複数目的スコアリング関数を適用し、望ましい特性を持つ分子へ向かうポリシー更新を誘導する。
• 内部ループの繰り返し回数（5–10回）を最適化し、速度、多様性、パフォーマンスのバランスを取る。
• 拡張SMILESからの累積報酬に基づいて、ポリシー勾配法を用いて生成モデルを更新する。

実験結果

リサーチクエスチョン

• RQ1 二重ループRLフレームワークにおけるSMILES拡張は、分子最適化の速度と効率にどのように影響するか？
• RQ2 多様性と計算コストのバランスを取るためのSMILES拡張繰り返し回数の最適値は何か？
• RQ3 標準的なRLアプローチと比較して、この手法はモード崩壊をどの程度軽減し、サンプルの多様性を向上させられるか？
• RQ4 この手法は、創薬における既知のリガンドとの類似性にどのように影響を与えるか？
• RQ5 複数の内側ループ反復において分子スコアリングを再利用することで、トレーニングの再現性と収束性は向上するか？

主な発見

• 5–10回のSMILES拡張繰り返しで、テストされたスコアリング関数すべてにおいて最適な速度、多様性、パフォーマンスのバランスが達成された。
• 複数のトレーニングステップにわたってスコアリングを再利用することで、必要な分子スコアリング呼び出し回数が顕著に削減された。
• 生成された分子はベースライン手法と比較して、既知のリガンドとの類似性が高かったため、創薬応用においてより関連性の高い結果を示した。
• 複数回のサンプリングランで再現性が向上し、出力分布のばらつきが低減した。
• 内側ループの拡張により、モード崩壊が効果的に抑制され、より多様な分子構造が得られた。
• 二重ループフレームワークにより、収束が速くなり、化学空間の探索がより効率的に行えた。