[논문 리뷰] Differentiable Simulations for Enhanced Sampling of Rare Events

Martin Šípka, Johannes C. B. Dietschreit외 2명|arXiv (Cornell University)|2023. 01. 09.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 사전에 선택된 집합 변수(CV)에 의존하지 않고 희귀 화학적 사건의 샘플링을 발견하고 향상시키기 위해 미분 가능한 시뮬레이션(DiffSim)을 소개한다. 반응 경로 탐색과 편향 잠재력 학습을 경로 적분 손실을 통해 통합적이고 종단 간 최적화로 공식화함으로써, 부분 역전파와 그래프 미니배치를 통해 안정적이고 효율적인 학습이 가능해졌으며, 사전 CV 지식 없이 Muller-Brown 잠재력과 알라닌 다펩타이드에서의 전이 경로를 성공적으로 식별하였다.

ABSTRACT

Simulating rare events, such as the transformation of a reactant into a product in a chemical reaction typically requires enhanced sampling techniques that rely on heuristically chosen collective variables (CVs). We propose using differentiable simulations (DiffSim) for the discovery and enhanced sampling of chemical transformations without a need to resort to preselected CVs, using only a distance metric. Reaction path discovery and estimation of the biasing potential that enhances the sampling are merged into a single end-to-end problem that is solved by path-integral optimization. This is achieved by introducing multiple improvements over standard DiffSim such as partial backpropagation and graph mini-batching making DiffSim training stable and efficient. The potential of DiffSim is demonstrated in the successful discovery of transition paths for the Muller-Brown model potential as well as a benchmark chemical system - alanine dipeptide.

연구 동기 및 목표

• 기존의 강화 샘플링이 수동으로 선택한 집합 변수(CV)에 의존하므로 고차원 분자 시스템에서 반응 경로 탐색의 과제를 해결하기 위해.
• 반응 경로를 알고 있는 지식이 있어야 CV를 선택할 수 있는 '닭과 계란' 문제를 해결하기 위해.
• 전문가가 정의한 CV가 필요 없이 희귀 사건 샘플링을 향상시키는 데 유용한 편향 잠재력을 학습할 수 있는 견고한, 미분 가능한 시뮬레이션 프레임워크를 개발하기 위해.
• 통합된 경로 적분 손실 함수를 사용해 반응 경로와 편향 잠재력을 동시에 종단 간 최적화할 수 있도록 하기 위해.
• Muller-Brown 잠재력과 알라닌 다펩타이드를 포함한 벤치마크 시스템에서, 최소한의 사전 가정으로 메서드의 효과성을 입증하기 위해.

제안 방법

• 희귀 사건 발생의 유사도를 측정하기 위해 경로 적분 손실 함수를 정의하여, 에너지 장벽을 횡단하는 궤적의 가능성을 기반으로 하는, 희귀 사건 발생에 대한 미분 가능한 대체 지표를 제공한다.
• 전체 시뮬레이션 궤적을 거쳐 역전파를 수행하여 학습 가능한 편향 잠재력을 학습함으로써, 편향을 향상시키기 위해 종단 간 최적화를 가능하게 한다.
• 긴 궤적에서 기울기의 소실/폭발을 방지하기 위해 부분 역전파를 구현하여 기울기 안정성을 확보한다.
• 확률적 경사 하강법을 가능하게 하기 위해 그래프 미니배치를 도입하여 학습 안정성과 수렴성을 향상시킨다.
• 라운지엔 동역학을 적용하여 유한한 기억 수평을 도입함으로써, 자동 미분 성장 현상을 자연스럽게 억제하고 최적화 과정을 안정화시킨다.
• 계산 그래프를 자르고 기울기의 고주파 진동을 억제하기 위해 .detach() 연산을 적용한다.

Figure 1 : Comparison of the adjoint evolution for original and partially detached graphs for simulations on the 2D Müller-Brown potential with parameters given in Appendix F .

실험 결과

연구 질문

• RQ1 미분 가능한 시뮬레이션을 사용하여 사전에 선택된 집합 변수에 의존하지 않고 반응 경로를 탐색할 수 있는가?
• RQ2 통합적이고 종단 간 최적화 프레임워크는 하나의 학습 과정에서 반응 경로와 편향 잠재력을 효과적으로 동시에 학습할 수 있는가?
• RQ3 복잡한 에너지 표면을 가진 고차원 분자 시스템에 적용했을 때, 미분 가능한 시뮬레이션의 학습은 얼마나 안정적이고 효율적인가?
• RQ4 알라닌 다펩타이드와 같은 실제 화학 시스템에서 핵심 이접 각도 좌표의 사전 지식 없이도 희귀 전이의 샘플링을 효과적으로 향상시킬 수 있는가?
• RQ5 학습된 편향 잠재력이 메타다이나믹스에서 구한 자유 에너지 프로파일(PMF)을 어느 정도 정확하게 재현할 수 있는가?

주요 결과

• 사전에 집합 변수에 대한 지식이 없이도 2D Muller-Brown 잠재력에서 전이 경로를 성공적으로 발견하였으며, 노이즈가 존재하는 상황에서도 수렴을 달성하였다.
• Muller-Brown 잠재력의 5차원 노이즈가 있는 변형에서는 여전히 전이 관측 확률이 높아졌으며, 불필요한 자유도에 대해 강건함을 입증하였다.
• 알라닌 다펩타이드의 경우, 훈련 후 10ps 이내에 80% 이상의 궤적이 전이를 완료하여 희귀 사건의 효과적인 향상이 이루어졌음을 나타냈다.
• 메타다이나믹스에서 확보한 기준 PMF와 평균적으로 유사한 편향 잠재력을 학습하여 자유 에너지 표면을 정확하게 캡처하고 있음을 검증하였다.
• 편향된 궤적에서 감소된 표현(CV)을 구성함으로써, 학습된 편향이 암묵적으로 관련 반응 좌표를 식별하고 있음을 보여주었다.
• 부분 역전파와 그래프 미니배치의 사용이 학습을 크게 안정화시켜, 미분 가능한 시뮬레이션의 신뢰성 있는 최적화를 가능하게 하였다.