[논문 리뷰] Graph Convolutional Neural Networks for (QM)ML/MM Molecular Dynamics Simulations

Albert Hofstetter, Lennard Böselt외 1명|arXiv (Cornell University)|2022. 06. 29.

Machine Learning in Materials Science참고 문헌 61인용 수 32

한 줄 요약

이 논문은 응집상 시스템의 정확하고 효율적인 (QM)ML/MM 분자 동역학 시뮬레이션을 가능하게 하는 ∆-학습을 통한 그래프 컬러션 신경망(GCNN)을 제안한다. 밀도함수이론을 기반으로 한 밴드이론(DFTB)을 기준선으로 하여 메시지 전파를 통해 장거리 상호작용을 포착하는 GCNN을 결합함으로써, 에너지 및 힘 예측에서 화학적 정확도를 달성하였으며, 다양한 용액상 시스템에서 안정성과 일반화 능력 면에서 기준선 모델을 능가한다.

ABSTRACT

To accurately study chemical reactions in the condensed phase or within enzymes, both a quantum-mechanical description and sufficient configurational sampling is required to reach converged estimates. Here, quantum mechanics/molecular mechanics (QM/MM) molecular dynamics (MD) simulations play an important role, providing QM accuracy for the region of interest at a decreased computational cost. However, QM/MM simulations are still too expensive to study large systems on longer time scales. Recently, machine learning (ML) models have been proposed to replace the QM description. The main limitation of these models lies in the accurate description of long-range interactions present in condensed-phase systems. To overcome this issue, a recent workflow has been introduced combining a semi-empirical method (i.e. density functional tight binding (DFTB)) and a high-dimensional neural network potential (HDNNP) in a $\Delta$-learning scheme. This approach has been shown to be capable of correctly incorporating long-range interactions within a cutoff of 1.4 nm. One of the promising alternative approaches to efficiently take long-range effects into account is the development of graph convolutional neural networks (GCNN) for the prediction of the potential-energy surface. In this work, we investigate the use of GCNN models -- with and without a $\Delta$-learning scheme -- for (QM)ML/MM MD simulations. We show that the $\Delta$-learning approach using a GCNN and DFTB and as baseline achieves competitive performance on our benchmarking set of solutes and chemical reactions in water. The method is additionally validated by performing prospective (QM)ML/MM MD simulations of retinoic acid in water and S-adenoslymethioniat interacting with cytosine in water. The results indicate that the $\Delta$-learning GCNN model is a valuable alternative for (QM)ML/MM MD simulations of condensed-phase systems.

연구 동기 및 목표

• 그래프 컬러션 신경망(GCNN) 기반의 기계학습 잠재에너지함수를 개발하여 (QM)ML/MM 분자 동역학 시뮬레이션을 수행하는 것.
• GCNN가 응집상 시스템에서 장거리 상호작용과 국소적이지 않은 전하 이동을 정확하게 모델링할 수 있는지 평가하는 것.
• 고차원 신경망 잠재에너지함수(HDNNPs)와 비교하여 GCNN가 ∆-학습 유무에 따라 성능에 미치는 영향을 평가하는 것.
• 학습 데이터 순서, 손실 함수 가중치, 이웃성 감소 전략이 모델 일반화 능력과 계산 비용에 미치는 영향을 평가하는 것.
• 금속효소나 유기금속 촉매와 같이 원소 다양성이 높은 시스템에 GCNN 기반 ∆-학습이 얼마나 적합한지 판단하는 것.

제안 방법

• QM 영역의 잠재에너지표면(PES)을 예측하기 위해 그래프 컬러션 신경망(GCNN)을 학습한다.
• GCNN는 밀도층을 사용한 메시지 전파 연산을 통해 원자 그래프를 따라 정보를 전파함으로써 비국소 전자구조 효과를 가능하게 한다.
• ∆-학습 기법을 적용하여 GCNN이 DFTB 기준선에 대한 에너지 및 힘 보정치를 예측함으로써 장거리 상호작용에 대한 정확도를 향상시킨다.
• 손실 함수는 총 에너지(wE = 1), QM 힘(wFQM = 0.1), MM 힘(wFMM = 10)의 가중 기여도를 포함하여 일반화 능력을 최적화한다.
• 계산 비용 절감을 위해 이웃성 감소 전략을 시험하였지만, 이는 힘 예측 정확도를 떨어뜨렸다.
• 학습 데이터를 시간순서 기반 및 무작위로 셔플한 세트로 나누어 데이터 순서가 수렴 및 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 GCNN에 ∆-학습을 적용한 모델이 용액상 분자에 대한 (QM)ML/MM MD 시뮬레이션에서 HDNNP와 비교해 유사하거나 더 높은 정확도를 달성할 수 있는가?
• RQ2 손실 함수에 QM 및 MM 힘 기울기 성분을 포함시키는 것이 모델 일반화 능력과 예측 정확도에 어떤 영향을 미치는가?
• RQ3 학습 데이터 순서(시간 기반 대비 무작위)가 GCNN 기반 (QM)ML/MM 시뮬레이션의 학습 수렴과 모델 성능에 영향을 미치는가?
• RQ4 이웃성 감소 전략이 MD 시뮬레이션에서 계산 비용을 얼마나 줄일 수 있으며, 이로 인해 힘 예측 정확도가 손상되지 않는 정도는 어느 정도인가?
• RQ5 복잡한 응집상 시스템에서 원소 다양성이 증가함에 따라 GCNN는 HDNNP에 비해 얼마나 잘 스케일링되는가?

주요 결과

• ∆-학습을 적용한 GCNN 모델은 레티노익산과 물 속의 SAM/cyt를 포함한 5개의 테스트 시스템 전반에서 기준선 DFTB보다 낮은 평균 절대 오차(MAE)를 기록하여 에너지 및 힘 예측 정확도를 향상시켰다.
• GCNN에 ∆-학습을 적용한 모델은 상대적으로 작은 초기 QM 학습 세트(7,000단계)로도 110,000단계에 이르는 안정적인 (QM)ML/MM MD 시뮬레이션을 수행하였다.
• 최적의 손실 가중치(wE = 1, wFQM = 0.1, wFMM = 10) 설정이 일반화 능력을 향상시켰으며, QM 힘 가중치를 높이면 과적합이 발생하고 성능이 저하되었다.
• 무작위로 셔플된 학습 데이터는 시간 순서 기반 데이터보다 더 빠르게 수렴하였으며, 모델 정확도를 손상시키지 않고 학습 시간을 단축시켰다.
• 이웃성 감소 전략은 계산 비용을 절감했지만 힘 예측 정확도를 크게 떨어뜨려 MD 시뮬레이션에 부적합하였다.
• GCNN 기반 ∆-학습 접근법은 HDNNP가 대칭 함수의 지수적 증가로 인해 과도하게 스케일링되는 것과는 달리, 원소 다양성이 증가함에 따라 더 유리하게 스케일링됨을 확인하였다.