[論文レビュー] REinforcement learning based Adaptive samPling: REAPing Rewards by Exploring Protein Conformational Landscapes

Zahra Shamsi, Kevin J. Cheng+1 more|arXiv (Cornell University)|Oct 2, 2017

Protein Structure and Dynamics被引用数 1

ひとこと要約

本稿では、分子動力学シミュレーション中に動的に最も情報量の多い反応座標を特定・優先順位付けすることで、コンformational landscapeの探索を加速する強化学習に基づく適応的サンプリング手法REAPを提案する。リアルタイムで集団変数の相対的重要性を学習することで、REAPは長時間連続MDおよび最小回数適応的サンプリングを上回り、同等のシミュレーション時間内により広範なコンformational空間を同定する。

ABSTRACT

One of the key limitations of Molecular Dynamics (MD) simulations is the computational intractability of sampling protein conformational landscapes associated with either large system size or long time scales. To overcome this bottleneck, we present the REinforcement learning based Adaptive samPling (REAP) algorithm that aims to efficiently sample conformational space by learning the relative importance of each order parameter as it samples the landscape. To achieve this, the algorithm uses concepts from the field of reinforcement learning, a subset of machine learning, which rewards sampling along important degrees of freedom and disregards others that do not facilitate exploration or exploitation. We demonstrate the effectiveness of REAP by comparing the sampling to long continuous MD simulations and least-counts adaptive sampling on two model landscapes (L-shaped and circular) and realistic systems such as alanine dipeptide and Src kinase. In all four systems, the REAP algorithm consistently demonstrates its ability to explore conformational space faster than the other two methods when comparing the expected values of the landscape discovered for a given amount of time. The key advantage of REAP is on-the-fly estimation of the importance of collective variables, which makes it particularly useful for systems with limited structural information.

研究の動機と目的

• 大規模系や長時間スケールでの分子動力学シミュレーションにおける計算的ボトル neck を解消すること。
• 既存の強化サンプリング手法が事前に定義された反応座標を必要とすることという制限を克服すること。
• シミュレーション中にリアルタイムで集団変数の重要性を学習する適応的サンプリングフレームワークを構築すること。
• ハミルトニアンを変更せずに、アルアニンジペプチドやSrcキナーゼを含む複雑なバイオ分子系におけるサンプリング効率を向上させること。
• 多様で代表的な軌道データを生成することで、Markov状態モデル（MSM）のより正確で効率的な構築を可能にすること。

提案手法

• REAPアルゴリズムは、探索と活用への寄与度に基づき、反応座標に動的重みを割り当てる強化学習の原則を採用する。
• 各イテレーションで、学習された重要度重みに基づき、サンプリング対象の反応座標が選択され、その重みは時系列差分学習を用いて更新される。
• 本手法は、コンformational spaceを探索するための短時間で並列な複数の軌道（スワーム）を用い、各軌道は重み付けされた反応座標に従って駆動される。
• 重要度重みは、各ラウンドで新たに探索されたコンformational spaceの広がりに基づく報酬信号から更新される。
• 非効率的または重複する反応座標（例：L字型ポテンシャルテストにおける直交座標Z）の重みは、自動的に低減される。
• 本手法はポテンシャルエネルギー面を歪めず、シミュレーションの熱力学的および運動論的正確性を保持する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて、タンパク質のコンformational landscapeの適応的サンプリング中に最も情報量の多い反応座標を効果的に同定・優先順位付けできるか？
• RQ2 事前に指定された座標を必要としないREAPの反応座標重要度のリアルタイム推定は、座標を事前に指定する手法と比べてどのように異なるか？
• RQ3 REAPは、長時間連続MDおよび最小回数適応的サンプリングと比較して、メタ安定状態やコンformational遷移の発見をどの程度高速化できるか？
• RQ4 事前の構造的知識なしに、アルアニンジペプチドやSrcキナーゼのような複雑で高次元のランドスケープを効率的に探索できるか？
• RQ5 バイアス付きMD手法に内在するバイアスを避ける一方で、サンプリング効率を向上させながらも、熱力学的正確性を維持できるか？

主な発見

• L字型および円形ポテンシャルランドスケープにおいて、REAPは単一の長時間軌道および最小回数適応的サンプリングよりも顕著に広範なコンformational空間を発見し、100回の繰り返し試行における期待値も高い結果を示した。
• アルアニンジペプチドにおいて、REAPは単一の長時間軌道では到達不可能なφ–ψランドスケープの領域や、最小回数適応的サンプリングでもあまり探索されていなかった領域をサンプリングした。代表的な分子構造からもその差が明確に示された。
• Srcキナーゼのシミュレーションでは、15 µsの実行時間にもかかわらず、単一の長時間軌道では到達できなかったアクティブなコンformationにREAPが成功して到達した。
• 直交反応座標（Z）の重みの減少によって、アルゴリズムの動的重み適応の妥当性が裏付けられ、非効率な方向の同定と抑制が可能であることが確認された。
• すべてのテスト系において、REAPは単位シミュレーション時間あたりのコンformational landscapeの期待カバレッジという観点で、ベースライン手法を一貫して上回った。
• Srcキナーゼにおいて、REAPはK-E距離やAループRMSDといった重要な反応座標を的確に同定し、機能的遷移経路の効率的探索を可能にした。