[논문 리뷰] REinforcement learning based Adaptive samPling: REAPing Rewards by Exploring Protein Conformational Landscapes

Zahra Shamsi, Kevin J. Cheng외 1명|arXiv (Cornell University)|2017. 10. 02.

Protein Structure and Dynamics인용 수 1

한 줄 요약

이 논문은 분자 동역학 시뮬레이션 중에 가장 정보가 많은 반응 좌표를 실시간으로 동적으로 식별하고 우선순위를 매겨 구형 경로 탐색을 가속화하는 강화 학습 기반의 적응형 샘플링 알고리즘인 REAP을 소개한다. 실시간으로 집합 변수의 상대적 중요도를 학습함으로써, REAP는 동일한 시뮬레이션 시간 내에 장기간의 연속 MD와 최소 빈도 수적 적응 샘플링보다 더 넓은 범위의 구형 경로 공간을 탐색하는 데 성공한다.

ABSTRACT

One of the key limitations of Molecular Dynamics (MD) simulations is the computational intractability of sampling protein conformational landscapes associated with either large system size or long time scales. To overcome this bottleneck, we present the REinforcement learning based Adaptive samPling (REAP) algorithm that aims to efficiently sample conformational space by learning the relative importance of each order parameter as it samples the landscape. To achieve this, the algorithm uses concepts from the field of reinforcement learning, a subset of machine learning, which rewards sampling along important degrees of freedom and disregards others that do not facilitate exploration or exploitation. We demonstrate the effectiveness of REAP by comparing the sampling to long continuous MD simulations and least-counts adaptive sampling on two model landscapes (L-shaped and circular) and realistic systems such as alanine dipeptide and Src kinase. In all four systems, the REAP algorithm consistently demonstrates its ability to explore conformational space faster than the other two methods when comparing the expected values of the landscape discovered for a given amount of time. The key advantage of REAP is on-the-fly estimation of the importance of collective variables, which makes it particularly useful for systems with limited structural information.

연구 동기 및 목표

• 큰 시스템이나 장시간 척도에서 발생하는 분자 동역학 시뮬레이션의 계산적 한계를 해결하기 위해.
• 기존의 강화 샘플링 방법이 관련 반응 좌표를 사전에 정의한 지식이 필요로 하는 한계를 극복하기 위해.
• 시뮬레이션 도중에 집합 변수의 중요도를 실시간으로 학습하는 적응형 샘플링 프레임워크를 개발하기 위해.
• 기본 해밀토니안을 변경하지 않고도 복잡한 생고분자 시스템(예: 알라닌 디펩타이드 및 Src 키나제)에서 샘플링 효율을 향상시키기 위해.
• 다양하고 대표적인 궤적 데이터를 생성함으로써 마르코프 상태 모델(MSM)을 더 정확하고 효율적으로 구성할 수 있도록 하기 위해.

제안 방법

• REAP 알고리즘은 탐색과 이용에 기여하는 바를 기반으로 반응 좌표에 동적 가중치를 할당하는 데 강화 학습 원리를 활용한다.
• 각 반복 단계에서 알고리즘은 학습된 중요도 가중치에 따라 샘플링할 반응 좌표를 선택하며, 이 가중치는 시간 차분 학습을 통해 업데이트된다.
• 이 방법은 구형 경로 공간을 탐색하기 위해 짧고 병렬적인 궤적의 군집을 사용하며, 각 궤적은 가중 반응 좌표에 따라 안내된다.
• 중요도 가중치는 각 라운드에서 탐색된 새로운 구형 경로 공간의 범위에 기반한 보상 신호에 따라 업데이트된다.
• 무의미하거나 중복되는 반응 좌표(예: L자형 잠재력 테스트에서 수직 좌표 Z)의 가중치는 자동으로 감소된다.
• 이 방법은 잠재 에너지 표면을 편향시키지 않아 시뮬레이션의 열역학적 및 동역학적 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 강화 학습이 단백질의 구형 경로 공간 적응 샘플링 중에 가장 정보가 많은 반응 좌표를 효과적으로 식별하고 우선순위를 매이는 데 유용하게 사용될 수 있는가?
• RQ2 사전에 지정된 좌표가 필요한 방법과 비교해 REAP가 반응 좌표 중요도를 실시간으로 추정하는 방식은 어떠한가?
• RQ3 REAP는 장기간의 연속 MD와 최소 빈도 수적 적응 샘플링에 비해 메타안정 상태 및 구형 전이의 탐색을 얼마나 빠르게 가속화하는가?
• RQ4 사전 구조 지식 없이도 REAP가 알라닌 디펩타이드 및 Src 키나제와 같은 복잡한 고차원 경로 공간을 효율적으로 탐색할 수 있는가?
• RQ5 REAP는 편향된 MD 방법에 내재된 편향을 피하면서도 샘플링 효율성을 향상시키면서 열역학 정확성을 유지하는가?

주요 결과

• L자형 및 원형 잠재력 경로에서, REAP는 단일 장시간 궤적과 최소 빈도 수적 적응 샘플링보다 훨씬 더 넓은 범위의 구형 경로 공간을 탐색했으며, 100회 반복 시험에서 기대값이 높았다.
• 알라닌 디펩타이드의 경우, REAP는 단일 장시간 궤적에서 접근하지 못한 φ–ψ 경로 영역과 최소 빈도 수적 적응 샘플링에서 덜 탐색된 영역을 샘플링했으며, 대표적인 분자 구조도 이를 확인했다.
• Src 키나제 시뮬레이션에서, REAP는 15 µs의 런타임 동안 단일 장시간 궤적 시뮬레이션에서 도달하지 못한 활성 구조로 접근하는 데 성공했다.
• 수직 반응 좌표(Z)의 가중치 감쇠를 통해 알고리즘의 동적 가중치 적응 능력이 검증되었으며, 이는 비생산적인 방향을 식별하고 억제할 수 있음을 확인했다.
• 모든 테스트 시스템에서, REAP는 단위 시뮬레이션 시간당 구형 경로 공간의 기대 커버리지 측면에서 기준 방법보다 일관되게 뛰어난 성능을 보였다.
• REAP 알고리즘은 Src 키나제에서 K-E 거리와 A-루프 RMSD와 같은 핵심 반응 좌표를 효과적으로 식별하여 기능적 전이 경로의 효율적 탐색을 가능하게 했다.