[論文レビュー] TorsionNet: A Reinforcement Learning Approach to Sequential Conformer Search

Tarun Chowdary Gogineni, Ziping Xu+5 more|arXiv (Cornell University)|Jun 12, 2020

Computational Drug Discovery Methods被引用数 9

ひとこと要約

TorsionNetは、カリキュラム学習と新規のギブズスコアに基づく報酬を用いて、柔軟性を持つ分子における効率的な逐次コンフォーマー探索のための強化学習フレームワークを導入した。大規模なアルカンでは最先端の化学情報学的手法を最大4倍の性能で上回り、リグニンでは桁違いの性能向上を達成した。計算コストを大幅に削減しながら、高価なMDシミュレーションと同等の性能を発揮した。

ABSTRACT

Molecular geometry prediction of flexible molecules, or conformer search, is a long-standing challenge in computational chemistry. This task is of great importance for predicting structure-activity relationships for a wide variety of substances ranging from biomolecules to ubiquitous materials. Substantial computational resources are invested in Monte Carlo and Molecular Dynamics methods to generate diverse and representative conformer sets for medium to large molecules, which are yet intractable to chemoinformatic conformer search methods. We present TorsionNet, an efficient sequential conformer search technique based on reinforcement learning under the rigid rotor approximation. The model is trained via curriculum learning, whose theoretical benefit is explored in detail, to maximize a novel metric grounded in thermodynamics called the Gibbs Score. Our experimental results show that TorsionNet outperforms the highest scoring chemoinformatics method by 4x on large branched alkanes, and by several orders of magnitude on the previously unexplored biopolymer lignin, with applications in renewable energy.

研究の動機と目的

• 高回転性結合数を有する大規模で柔軟性のある分子における効率的かつスケーラブルなコンフォーマー探索の課題に対処すること。
• ETKDG や Confab などの既存の化学情報学的ツールを上回る手法を開発し、特にそれらの実用的限界を超える分子に対しても有効であるようにすること。
• 再生可能エネルギー応用において極めて重要なリグニンのような複雑なバイオポリマーにおけるコンformational space の正確なサンプリングを可能にすること。
• 組み合わせ的分子探索問題における強化学習におけるカリキュラム学習の理論的・実用的利点を調査すること。

提案手法

• TorsionNetは、回転角のみを変化させ、結合長さと結合角を固定する剛体回転子近似の下で、逐次的な強化学習アプローチを採用している。
• 各ステップで独立した回転角サンプリング分布をモデル化するために、メッセージパッシングニューラルネットワーク（MPNN）と長短期記憶（LSTM）ユニットを組み合わせた手法を用いている。
• 低エネルギーで熱力学的に有意義なコンフォーマーに向けた探索を促進するために、ギブズスコアに基づく非定常報酬関数を用いている。
• カリキュラム学習を適用し、回転性結合数が増加する分子を単純な構造から複雑な構造へと段階的に訓練することで、学習を進めている。
• 直接的パラメータ転送とエントロピーに基づく探索を用いて、訓練中のサンプリング効率を向上させている。
• 理論的裏付けとして、確率的保証のもとでカリキュラムベースの探索におけるサンプル複雑度の上限を示す定理1を提示している。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、柔軟性を持つ分子における逐次的コンフォーマー探索に効果的に適用可能であり、従来の化学情報学的手法を上回ることができるか？
• RQ2 構造的複雑度が増加する組み合わせ的分子探索タスクにおいて、カリキュラム学習はサンプル複雑度を顕著に低減するか？
• RQ3 学習された方策は、回転性結合数が増加する分子、特にリグニンのような高RBN系において一般化可能か？
• RQ4 ギブズスコアに基づく報酬関数は、標準的なエネルギーに基づく報酬関数と比較して、コンformational space の効率的探索をどのように促進するか？
• RQ5 TorsionNetは、計算コストが高価な分子動力学的シミュレーションのコンformational サンプリングをどの程度再現できるか？

主な発見

• 大規模な分岐アルカン（高回転性結合数）において、TorsionNetは最高性能を示す化学情報学的手法（Confab）を最大4倍の性能で上回った。
• 従来未解決であったバイオポリマーであるリグニンにおいて、TorsionNetは既存手法のサンプリング効率を少なくとも4桁以上上回った。
• リグニンにおいて、TorsionNetは計算リソースを著しく削減しながら、自己ガイドドMDシミュレーションと同等の性能を達成した。
• カリキュラム学習戦略によりサンプル複雑度が低減され、タスクの難易度を段階的に増加させた場合の収束性向上を理論的境界で示した。
• MDシミュレーションとの比較による検証を通じて、複雑な分子における主要なコンformational 領域を効果的に特定・探索できることを実証した。
• ギブズスコアに基づく報酬関数の導入により、高次元の回転角空間であっても、低エネルギーコンフォーマーの有効な探索が可能になった。