[論文レビュー] Scalable Fragment-Based 3D Molecular Design with Reinforcement Learning

Daniel Flam-Shepherd, A. S. Zhigalin+1 more|arXiv (Cornell University)|Feb 1, 2022

Computational Drug Discovery Methods被引用数 6

ひとこと要約

本論文は、エネルギーに基づく報酬によって駆動される、事前に定義された分子断片を3次元空間に段階的に配置することで、複雑な3次元分子を設計する階層的強化学習フレームワークを提案する。この手法は、100原子を超える分子をスケーラブルかつ高精度に生成でき、原子レベルのエージェントに比べて妥当性と収束速度で優れており、化学者による直感とも整合する。

ABSTRACT

Machine learning has the potential to automate molecular design and drastically accelerate the discovery of new functional compounds. Towards this goal, generative models and reinforcement learning (RL) using string and graph representations have been successfully used to search for novel molecules. However, these approaches are limited since their representations ignore the three-dimensional (3D) structure of molecules. In fact, geometry plays an important role in many applications in inverse molecular design, especially in drug discovery. Thus, it is important to build models that can generate molecular structures in 3D space based on property-oriented geometric constraints. To address this, one approach is to generate molecules as 3D point clouds by sequentially placing atoms at locations in space -- this allows the process to be guided by physical quantities such as energy or other properties. However, this approach is inefficient as placing individual atoms makes the exploration unnecessarily deep, limiting the complexity of molecules that can be generated. Moreover, when optimizing a molecule, organic and medicinal chemists use known fragments and functional groups, not single atoms. We introduce a novel RL framework for scalable 3D design that uses a hierarchical agent to build molecules by placing molecular substructures sequentially in 3D space, thus attempting to build on the existing human knowledge in the field of molecular design. In a variety of experiments with different substructures, we show that our agent, guided only by energy considerations, can efficiently learn to produce molecules with over 100 atoms from many distributions including drug-like molecules, organic LED molecules, and biomolecules.

研究の動機と目的

• 2次元表現（例：SMILES、グラフ）に依存する既存のML手法の限界を解消する。特に3次元幾何学的構造を無視する点。
• 原子1つずつを配置する3次元分子生成の非効率性を克服する。これは深くスケーラブルでない探索空間を生じる。
• 化学者が実世界で行っている断片ベースの設計を機械学習に統合する。具体的には、サブ構造を原子的アクションとして使用する。
• 物理的性質（例：エネルギー）に基づいてガイドされた、幾何学的制約のあるスケーラブルな分子生成を可能にする。
• 薬物様分子、バイオマolecule、OLED材料を含む、複雑で多様性があり妥当な3次元分子（100原子以上）の生成可能性を実証する。

提案手法

• 3次元デカルト空間で動作する階層的強化学習エージェントを提案する。高レベルのアクションとして、個々の原子ではなく、分子断片全体を配置する。
• 現在の3次元分子幾何学的構造と断片の位置を符号化する状態表現を用いる。アクションは、どの断片を配置し、どこに結合するかを選択する。
• 量子力学的エネルギー（例：DFTで計算された全エネルギー）に基づく報酬関数を定義し、低エネルギーで安定した分子構造を促進する。
• 離散的・連続的アクション空間を実装する：離散的選択（断片選択と結合点、例：置換する水素）と連続的座標（3次元配置）を併用する。
• ポリシー勾配法を用いた深層強化学習でエージェントを訓練し、3次元分子構造のエンドツーエンド最適化を可能にする。
• 幾何的制約と対称性に配慮した表現を統合することで、学習中のサンプル効率と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、個々の原子ではなく分子断片を配置することで、複雑で安定した3次元分子を学習的に生成できるか？
• RQ2 断片ベースの3次元分子生成は、妥当性、収束速度、スケーラビリティの観点で原子レベルの生成を上回るか？
• RQ3 エネルギーに基づく報酬のみを用いて、多様で原子数の多い分子（>100原子）を低エネルギーかつ高妥当性で生成できるか？
• RQ4 階層的断片ベースのアプローチは、化学者の直感と現実の分子設計実務にどの程度整合しているか？
• RQ5 本手法は、薬物様化合物、有機LED、バイオマoleculeなど多様な分子分布に対してどのように性能を発揮するか？

主な発見

• エージェントは100原子を超える分子を成功裏に生成し、従来の3次元生成モデルが小分子に限られていたスケーラビリティの限界を打ち破った。
• 生成された分子の妥当性が95%以上に達し、MolGymなどの原子レベルエージェントに比べて妥当性と収束速度の両面で顕著に優れた。
• 50,000ステップの学習内で低エネルギーで安定した構造に収束し、20,000ステップ以降にエネルギーと幾何学的構造に有意義な改善が観察された。
• アミノ酸断片で学習したエージェントはペプチド様の3次元幾何学的構造を生成するよう学習しており、適切な幾何的推論能力を示している。
• 本手法は、離散的（断片選択）と連続的（空間配置）の両方のアクション空間を効率的に探索でき、複雑な分子設計にとって不可欠である。
• 報酬関数を異なるもの（例：ドッキングスコア、親水性）に容易に適合可能であり、薬物結合や触媒設計などの特定用途向けの設計を可能にする。