[論文レビュー] Machine Learning for Molecular Dynamics on Long Timescales

Frank Noé|arXiv (Cornell University)|Dec 18, 2018

Machine Learning in Materials Science被引用数 8

ひとこと要約

本論文は、複雑なダイナミクスの低次元表現を学習することで、長時間スケールの分子動力学（MD）をモデル化するための機械学習手法——特にディープリサンプリングおよび生成的マコフ状態モデル（MSM）——を提案する。尤度最大化またはエネルギー距離損失を用いて訓練されたニューラルネットワークにより、緩和時間定数、遷移密度の正確な予測、およびトレーニングデータにない物理的に現実的な新しい構造の生成が可能となり、大規模なバイオ分子系におけるサンプリング効率とモデルの解釈可能性が顕著に向上する。

ABSTRACT

Molecular Dynamics (MD) simulation is widely used to analyze the properties of molecules and materials. Most practical applications, such as comparison with experimental measurements, designing drug molecules, or optimizing materials, rely on statistical quantities, which may be prohibitively expensive to compute from direct long-time MD simulations. Classical Machine Learning (ML) techniques have already had a profound impact on the field, especially for learning low-dimensional models of the long-time dynamics and for devising more efficient sampling schemes for computing long-time statistics. Novel ML methods have the potential to revolutionize long-timescale MD and to obtain interpretable models. ML concepts such as statistical estimator theory, end-to-end learning, representation learning and active learning are highly interesting for the MD researcher and will help to develop new solutions to hard MD problems. With the aim of better connecting the MD and ML research areas and spawning new research on this interface, we define the learning problems in long-timescale MD, present successful approaches and outline some of the unsolved ML problems in this application field.

研究の動機と目的

• 分子動力学シミュレーションにおけるレアイベントおよび長時間ダイナミクスのサンプリングという根本的課題に取り組む。
• 短いMD軌道から複雑な分子動力学の低次元表現を学ぶ機械学習モデルを開発する。
• ディープニューラルネットワークを用いて、長時間ダイナミクスの効率的で解釈可能かつ一般化可能なモデリングを実現する。
• 主要な問題を統一的かつ学習可能なフレームワークとして定式化することで、機械学習と分子動力学のギャップを埋める。

提案手法

• ラグ時間τにおける分子構造の間の遷移確率を学習するためのディープニューラルネットワークを用い、ディープリサンプリングMSMを構築する。
• 初期状態のワンホットエンコーディングを条件として用いる生成ネットワークを採用し、将来の構造を予測する。エネルギー距離（ED）損失を用いてトレーニングすることで、経験的遷移密度と一致させる。
• 変分推論と尤度最大化を用いてモデルパラメータを最適化し、元のマルコフ過程と整合性を保つ。
• リワーディングトリックを適用して、生成されたサンプルから遷移密度P(xt+τ | xt)を推定し、バイアスのない統計的推論を可能にする。
• ディープジェネレーティブモデルを活用して、トレーニングデータに存在しない物理的に妥当な新しい構造を生成し、アクティブラーニングと外挿を可能にする。
• エネルギー距離を微分可能指標として用い、真の遷移分布と予測分布の乖離を最小化することで、ジェネレーティブモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、短いMDシミュレーションから分子系の長時間ダイナミクスを正確に近似できるか？
• RQ2 生成モデルは、トレーニングデータにない物理的に現実的な分子構造を生成できるか？
• RQ3 エネルギー距離損失は、複雑な分子系の遷移密度を正確に再現するためのディープジェネレーティブモデルの訓練に効果的か？
• RQ4 古典的MSMと比較して、ディープラーニングは長時間スケールMDにおけるサンプリング効率と統計的精度をどの程度向上できるか？
• RQ5 解釈可能でディープラーニングベースの分子動力学モデルを用いることで、アクティブラーニングとアダプティブサンプリングはどの程度向上できるか？

主な発見

• ディープリサンプリングMSMは、ベンチマーク系の固有関数および主要な緩和時間定数を正確に再現し、基準ダイナミクスに対する高い忠実度を示している。
• エネルギー距離損失で訓練されたディープジェネレーティブMSMは、配置空間における遷移密度を効果的に学習し、以前に観測されていなかったミスティブル状態へ一般化している。
• 図7に示すペプチドフォールディングの事例で、トレーニングデータがカバーしていない領域においても物理的に現実的な分子構造を生成できることが確認された。
• 本手法により、原子スケールのシミュレーションで1秒を超える長時間ダイナミクスのサンプリングが可能となり、タンパク質-タンパク質結合・解離を含むダイナミクスを再現した。
• 実験的評価において、標準的な尤度ベースのトレーニングや変分アプローチ（VAMP）を上回り、固有関数および時間定数推定の両面で優れた精度を示した。
• 公開された実装はPyEMMAおよびdeeptimeに提供されており、ベンチマーク用にmdshare経由でデータセットも提供されている。