[논문 리뷰] Reinforced dynamics of large atomic and molecular systems

Linfeng Zhang, Han Wang외 1명|arXiv (Cornell University)|2017. 12. 10.

Protein Structure and Dynamics인용 수 1

한 줄 요약

이 논문은 메타다이나믹스와 딥 강화학습을 조합하여 대규모 원자 및 분자 시스템에서 구성 공간을 효율적으로 탐색하고 자유 에너지를 계산하는 새로운 방법을 제안한다. 신경망을 사용해 수집된 탐색 데이터로부터 실시간으로 페널티 잠재력을 학습하며, 알라닌 다펩타이드와 트라이펩타이드의 전자기적 용매 시뮬레이션에서 유망한 결과를 보였다.

ABSTRACT

A new approach for efficiently exploring the configuration space and computing the free energy of large atomic and molecular systems is proposed, motivated by an analogy with reinforcement learning. There are two major components in this new approach. Like metadynamics, it allows for an efficient exploration of the configuration space by adding an adaptively computed biasing potential to the original dynamics. Like deep reinforcement learning, this biasing potential is trained on the fly using deep neural networks, with data collected judiciously from the exploration. Applications to the full-atom, explicit solvent models of alanine dipeptide and tripeptide show some of promise for this new approach.

연구 동기 및 목표

• 대규모 원자 및 분자 시스템에서 고차원 구성 공간을 효율적으로 샘플링하는 데 도전하는 데에 대비하기 위해.
• 명시적 용매 모델을 사용하는 복잡한 생분자 시스템에서 자유 에너지 계산을 향상시키기 위해.
• 메타다이나믹스와 딥 강화학습의 장점을 융합하여 적응형 샘플링을 위한 방법을 개발하기 위해.
• 탐색 과정 동안 수집된 데이터를 사용해 페널티 잠재력을 실시간으로 훈련시킬 수 있도록 하기 위해.

제안 방법

• 이 방법은 시뮬레이션 중에 동적으로 업데이트되는 적응형 페널티 잠재력을 사용한다.
• 시스템의 탐색에서 수집된 데이터를 기반으로 실시간으로 훈련된 딥 신경망을 사용해 페널티 잠재력을 학습한다.
• 강화학습에서 영감을 얻었으며, 네트워크가 탐색되지 않은 영역으로 샘플링을 유도하도록 학습한다.
• 시스템의 역학은 원래의 잠재 에너지 표면에 신경망이 계산한 페널티를 추가하여 수정된다.
• 효과적인 탐색을 보장하기 위해 시뮬레이션 중에 데이터를 신중하게 수집한다.
• 지역 최소값에 갇히는 것을 방지하고 샘플링 효율을 향상시키기 위해 메타다이나믹스 원리를 통합한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 접근법이 대규모 생분자 시스템에서 구성 공간 탐색의 효율성을 향상시킬 수 있는가?
• RQ2 딥 신경망이 실시간으로 샘플링을 페널티화하여 자유 에너지 계산을 향상시킬 수 있는가?
• RQ3 이 하이브리드 방법이 명시적 용매를 포함한 복잡한 시스템에서 전통적 메타다이나믹스를 능가할 수 있는가?
• RQ4 이 방법은 알라닌 다펩타이드와 트라이펩타이드의 전자기적 원자 수준 시뮬레이션에서 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 대규모 원자 및 분자 시스템에서 구성 공간 탐색을 효율적으로 가능하게 한다.
• 실시간으로 페널티 잠재력을 학습하는 딥 신경망의 사용은 샘플링 효율을 향상시킨다.
• 이 방법은 알라닌 다펩타이드와 트라이펩타이드의 전자기적 용매 모델에서 자유 에너지를 성공적으로 계산한다.
• 초기 결과는 이 방법이 복잡한 생분자 시스템에서 유망한 잠재력을 지닌다.
• 강화학습 원리와 메타다이나믹스의 통합은 적응형이고 데이터 기반의 페널티화를 이끈다.
• 이 방법은 생분자 자유 에너지 계산 분야에 광범위하게 적용될 잠재력을 보여준다.