[論文レビュー] Symmetry-Aware Actor-Critic for 3D Molecular Design

Gregor N. C. Simm, Robert Pinsler+2 more|arXiv (Cornell University)|Nov 25, 2020

Machine Learning in Materials Science参考文献 45被引用数 9

ひとこと要約

本論文は、球面調和関数に基づく回転に共変な表現を用いて原子の位置と行動をモデル化することで、3次元分子設計のための対称性に配慮したアクターキャリス卜強化学習フレームワークを提案する。ポリシー関数および価値関数に空間的対称性を直接組み込むことで、特に未知の化学 Stoichiometry や従来のグラフベース手法では扱えない複雑な配位子幾何学的構造において、より高品質で安定した3次元分子構造が生成され、一般化性能が向上する。

ABSTRACT

Automating molecular design using deep reinforcement learning (RL) has the potential to greatly accelerate the search for novel materials. Despite recent progress on leveraging graph representations to design molecules, such methods are fundamentally limited by the lack of three-dimensional (3D) information. In light of this, we propose a novel actor-critic architecture for 3D molecular design that can generate molecular structures unattainable with previous approaches. This is achieved by exploiting the symmetries of the design process through a rotationally covariant state-action representation based on a spherical harmonics series expansion. We demonstrate the benefits of our approach on several 3D molecular design tasks, where we find that building in such symmetries significantly improves generalization and the quality of generated molecules.

研究の動機と目的

• グラフベースの分子生成手法が3次元空間的情報を欠き、金属や複雑な配位子幾何学的構造をモデル化できないという限界を解消すること。
• 3次元分子設計において回転および並進対称性を明示的に符号化することで、サンプル効率と一般化性能を向上させる強化学習フレームワークを開発すること。
• 原子の位置をデカルト座標でモデル化する対称性に配慮した表現を用いることで、ハイパーバレントや遷移金属化合物を含む複雑な分子構造の生成を可能にすること。
• 回転共変性によるインダクティブバイアスが、ベースラインの強化学習エージェントと比較して、生成された分子の妥当性、多様性、安定性を向上させることを実証すること。

提案手法

• 状態は配置済み原子の3次元キャンバスと残りの原子のバッグで定義されるマルコフ決定過程を用いる。行動は要素の選択と3次元座標への配置から成る。
• 球面調和関数を用いて原子の位置を符号化する回転に共変な状態表現を構築し、空間的回転に対してエージェントのポリシーが一貫して変化するように保証する。
• アクターキャリス卜ネットワークは、球面調和関数係数によってパrameter化された原子位置の確率分布を用いた自己回帰的ポリシーを採用し、等変な行動選択を可能にする。
• 価値関数とポリシーは、化学的妥当性、安定性、および目標となる分子組成を促進する報酬関数を用いて方策勾配法により訓練される。
• 状態表現と行動分布が回転に対して予測可能に変換されることを保証することで、アーキテクチャ全体に回転共変性を維持し、対称性不変性を保つ。
• モデルは、未知の化学 Stoichiometry を含む単一バッグおよび確率的バッグ設定を含む、3次元分子設計タスクに対してエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 未知または分布外の化学 Stoichiometry における3次元分子生成において、状態・行動表現における回転共変性が一般化性能を向上させるか？
• RQ2 対称性に配慮した表現学習は、標準の強化学習エージェントと比較して、生成された3次元分子構造の妥当性、多様性、安定性にどのように影響を与えるか？
• RQ3 対称性に配慮した強化学習エージェントは、グラフベースのモデルでは到達できない複雑な配位子幾何学的構造をどの程度生成できるか？
• RQ4 行動分布のモデリングに球面調和関数を用いることで、3次元分子設計におけるサンプル効率と収束性が向上するか？
• RQ5 訓練時に正確な化学 Stoichiometry が提供されない状況でも、エージェントは微調整なしに、より大きな未学習の分子組成に一般化できるか？

主な発見

• 提案された対称性に配慮したエージェント Covariant は、ベースラインエージェントを上回り、単一バッグ設定において C7H10O2 タスクで平均報酬 0.65、C7H8N2O2 タスクで 0.71 を達成する。
• 化学組成が未知の確率的バッグタスクにおいても、Covariant は高い性能（平均報酬 0.65 および 0.88）を維持し、正確な組成を事前に知らなくても一般化性能が優れていることを示している。
• Covariant は Internal ベースラインと比較して、より安定的かつ高品質な分子構造を生成し、報酬の分散が小さく、分布外バッグでも優れた性能を示している。
• エージェントは、ハイパーバレントヨウ素化合物など、非有機的結合パターンを有する複雑な3次元構造を成功裏に生成しており、これは標準のグラフベースモデルでは到達不可能である。
• 最適なベースラインエージェントは、大きなバッグでは有効な構造を生成できず、しばしば複数分子クラスタを生成するが、Covariant は多様な構成においても高い妥当性と安定性を維持している。
• Covariant は、分布外のテストバッグにおいて、平均報酬が高く分散が小さいという点で、Internal エージェントと比較して、未学習の分子組成への一般化性能が著しく優れている。