[論文レビュー] Note: Variational Encoding of Protein Dynamics Benefits from Maximizing Latent Autocorrelation

Hannah K. Wayment-Steele, Vijay S. Pande|arXiv (Cornell University)|Mar 16, 2018

Protein Structure and Dynamics参考文献 17被引用数 8

ひとこと要約

本論文では、変分オートエンコーダー（VAE）フレームワークに潜在空間自己相関最大化を統合することで、タンパク質の動的挙動のモデリングを改善することを提案している。この損失項が、ゆっくりとしたコンformationalプロセスの同定を向上させることを示している。自己相関損失とタイムラグ付き再構成目的を組み合わせることで、標準的なVAEよりも顕著に高い潜在自己相関を達成し、変動的アプローチを用いたコンformationalダイナミクス（VAC）による検証を通じて、生体分子ダイナミクスのより優れた変分モデルが得られることを示している。

ABSTRACT

As deep Variational Auto-Encoder (VAE) frameworks become more widely used for modeling biomolecular simulation data, we emphasize the capability of the VAE architecture to concurrently maximize the timescale of the latent space while inferring a reduced coordinate, which assists in finding slow processes as according to the variational approach to conformational dynamics. We additionally provide evidence that the VDE framework (Hern\'andez et al., 2017), which uses this autocorrelation loss along with a time-lagged reconstruction loss, obtains a variationally optimized latent coordinate in comparison with related loss functions. We thus recommend leveraging the autocorrelation of the latent space while training neural network models of biomolecular simulation data to better represent slow processes.

研究の動機と目的

• タンパク質のゆっくりとしたコンformationalダイナミクスのモデリングにおける変分オートエンコーダー（VAE）の性能を向上させること。
• 潜在空間自己相関を最大化することで、VAEベースのモデルにおける低次元座標の質が向上するかどうかを調査すること。
• とくにタイムラグ付き再構成と即時の再構成の違いが、潜在ダイナミクスに与える影響を評価すること。
• 提案手法が、標準VAEと比較して、長時間スケールのプロセスをより正確に表現できるかどうかを検証すること。

提案手法

• 潜在空間の自己相関を最大化するための新しい損失項 Lρ を導入し、ρzt,zt+τ = −E[(zt − z̄t)(zt+τ − z̄t+τ)] / (szt s zt+τ) として定義する。
• デコーダーを変更し、現在の時刻ではなく、将来の時刻τでの座標を再構成するようにすることで、時間的伝搬学習を可能にする。
• 自己相関損失（Lρ）とタイムラグ付き再構成損失（Lprop）を組み合わせ、長時間スケールのダイナミクスと再構成の正確性を同時に最適化する。
• 変動的アプローチを用いたコンformationalダイナミクス（VAC）を用いて、示された時間定数と固有値の和を用いてモデルの品質を評価する。
• 再パラメータライゼーショントリックを用いた標準的なVAEフレームワークを採用し、エンコーダーとデコーダーのエンドツーエンド学習を実現する。
• 実際のタンパク質シミュレーションデータを用いて結果を検証し、さまざまな損失組み合わせにおける潜在自己相関と示された時間定数を比較する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間自己相関を最大化することは、タンパク質ダイナミクスにおけるゆっくりとしたコンformationalプロセスの同定を改善するか？
• RQ2 タイムラグ付き再構成損失（Lprop）は、標準的な再構成損失（Lencod）と比較して、長時間スケールのダイナミクスをどれほど効果的に保持できるか？
• RQ3 Lρ と Lprop の組み合わせは、Lρ 単体よりも自己相関が高く、物理的に意味のある潜在座標を生成できるか？
• RQ4 VACベースの指標で測定した場合、Lρ の導入により標準VAEと比較してモデル品質がどの程度向上するか？
• RQ5 潜在空間の示された時間定数は、ゆっくりとしたプロセスを捉えるモデルの性能を信頼できる指標として使えるか？

主な発見

• Lρ 単体で学習させた場合、Lρ と標準再構成損失（Lencod）を組み合わせた場合よりも、顕著に高い潜在自己相関が得られる。
• Lρ とタイムラグ付き再構成（Lprop）の組み合わせは、Lρ 単体よりも高い自己相関を示す潜在座標を生成し、ゆっくりとしたダイナミクスのモデリングが向上していることが示された。
• Lρ と Lprop を両方使用するVDEフレームワークは、図3の自己相関曲線による確認を通じて、標準VAEよりもより高い自己相関を持つ潜在空間を達成した。
• VDEモデルの潜在空間は、最初の tICA 座標よりも長い示された時間定数を示し、ゆっくりとしたプロセスを捉える能力が優れていることを示している。
• Lρ で学習したモデルは、変動的原理に沿ったコンformationalダイナミクスの適合性が向上しており、より高い一般化行列レイリー商の値によって裏付けられている。
• 本研究では、Lρ での学習のみでは、時間的相関を犠牲にしてデータ構造に過剰適合する傾向があることが確認されたが、Lprop の導入により時間的整合性が保たれている。