[논문 리뷰] Machine Learning for Molecular Dynamics on Long Timescales

Frank Noé|arXiv (Cornell University)|2018. 12. 18.

Machine Learning in Materials Science인용 수 8

한 줄 요약

이 논문은 복잡한 동역학의 저차원 표현을 학습함으로써 장시간 척도 분자의 동역학(MD)을 모델링하기 위해 머신러닝 기법—특히 딥 리샘플링과 생성적 마르코프 상태 모델(Generative Markov State Models, MSMs)—을 제안한다. 가능도 최대화 또는 에너지 거리 손실을 통해 훈련된 신경망을 사용함으로써, 이 접근법은 릴랙세이션 시간스케일, 전이 밀도, 그리고 훈련 데이터를 초월한 새로운 물리적으로 타당한 구조를 정확하게 예측할 수 있으며, 대규모 생물분자계에서 샘플링 효율성과 모델 해석 가능성에 크게 기여한다.

ABSTRACT

Molecular Dynamics (MD) simulation is widely used to analyze the properties of molecules and materials. Most practical applications, such as comparison with experimental measurements, designing drug molecules, or optimizing materials, rely on statistical quantities, which may be prohibitively expensive to compute from direct long-time MD simulations. Classical Machine Learning (ML) techniques have already had a profound impact on the field, especially for learning low-dimensional models of the long-time dynamics and for devising more efficient sampling schemes for computing long-time statistics. Novel ML methods have the potential to revolutionize long-timescale MD and to obtain interpretable models. ML concepts such as statistical estimator theory, end-to-end learning, representation learning and active learning are highly interesting for the MD researcher and will help to develop new solutions to hard MD problems. With the aim of better connecting the MD and ML research areas and spawning new research on this interface, we define the learning problems in long-timescale MD, present successful approaches and outline some of the unsolved ML problems in this application field.

연구 동기 및 목표

• 분자의 동역학 시뮬레이션에서 희귀 사건과 장시간 동역학을 시뮬레이션하는 데 있어 근본적인 과제를 해결하기 위해.
• 짧은 MD 트레이제터리에서 유도된 복잡한 분자 동역학의 저차원 표현을 학습하는 머신러닝 모델을 개발하기 위해.
• 딥 뉴럴 네트워크를 활용해 장시간 동역학을 효율적이고 해석 가능하며 일반화 가능한 방식으로 모델링하기 위해.
• 핵심 문제들을 통합적이고 학습 가능한 프레임워크로 재구성함으로써 머신러닝과 분자 동역학 간 격차를 메우기 위해.

제안 방법

• 지연 시간 τ 동안 분자 구조 간 전이 확률을 학습하기 위해 딥 뉴럴 네트워크를 활용하여 딥 리샘플링 MSM을 구성한다.
• 초기 상태의 원-핫 인코딩을 조건으로 하는 조건부 생성 네트워크를 사용하여 향후 구조를 예측하며, 실제 전이 밀도를 일치시키기 위해 에너지 거리(ED) 손실을 통해 훈련한다.
• 모델 파라미터 최적화를 위해 변분 추론과 가능도 최대화를 적용하여 기저 마르코프 과정과의 일관성을 확보한다.
• 전이 밀도 P(xt+τ | xt)를 생성된 샘플들로부터 추정하기 위해 리워어핑 트릭을 적용하여 편향 없는 통계적 추론을 가능하게 한다.
• 딥 생성 모델을 활용해 훈련 데이터에 존재하지 않는 새로운 물리적으로 타당한 구조를 생성함으로써, 액티브 러닝과 외삽을 가능하게 한다.
• 진정한 전이 분포와 예측된 분포 간 격리 차이를 최소화하기 위해 에너지 거리를 미분 가능한 메트릭으로 사용하여 생성 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 짧은 MD 시뮬레이션에서 유도된 데이터로부터 복잡한 분자 시스템의 장시간 동역학을 정확하게 근사할 수 있는가?
• RQ2 생성 모델은 훈련 데이터에 포함되지 않은 새로운 물리적으로 타당한 분자 구조를 어떻게 생성할 수 있는가?
• RQ3 에너지 거리 손실은 복잡한 분자 시스템의 전이 밀도를 정확히 일치시키기 위해 깊이 있는 생성 모델을 효과적으로 훈련시킬 수 있는가?
• RQ4 기존의 MSM과 비교했을 때, 딥 러닝은 장시간 척도 MD에서 샘플링 효율성과 통계 정확도를 어느 정도 향상시킬 수 있는가?
• RQ5 해석 가능하고 딥 러닝 기반의 분자 동역학 모델을 통해 액티브 러닝과 적응형 샘플링은 어떻게 향상될 수 있는가?

주요 결과

• 딥 리샘플링 MSM은 기준 동역학에 대해 고도로 정밀한 고유함수와 주요 릴랙세이션 시간스케일을 재현하여 높은 정밀도를 입증한다.
• 에너지 거리 손실을 통해 훈련된 딥 생성 MSM은 구성공간 내 전이 밀도를 성공적으로 학습하고, 이전에 볼 수 없었던 멱정적 상태로 일반화된다.
• 모델은 훈련 데이터로 커버되지 않은 영역에서도 물리적으로 타당한 분자 구조를 생성할 수 있으며, 펩타이드 접힘의 경우 그림 7에서 이를 입증하였다.
• 이 방법은 원자 수준의 시뮬레이션에서 1초 이상의 장시간 동역학을 시뮬레이션할 수 있으며, 단백질-단백질 상호작용 및 해리 과정을 포함한다.
• 실증 평가에서 표준 가능도 기반 훈련과 변분 접근법(VAMP)보다 우수한 정확도를 보이며, 고유함수 및 시간스케일 추정에서 뛰어난 성능을 보였다.
• 공개된 구현체는 PyEMMA와 deeptime에서 이용 가능하며, 벤치마킹을 위해 mdshare를 통해 데이터셋도 제공된다.