[논문 리뷰] Long-Short-Range Message-Passing: A Physics-Informed Framework to Capture Non-Local Interaction for Scalable Molecular Dynamics Simulation

Yunyang Li, Yusong Wang외 8명|arXiv (Cornell University)|2023. 04. 26.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 장거리 상호작용을 분할 기반 메시지 전달 메커니즘을 통해 명시적으로 모델링함으로써 등변성 그래프 신경망을 향상시키는 물리적 정보를 반영한 그래프 신경망 프레임워크인 Long-Short-Range Message-Passing (LSR-MP)을 제안한다. 이 방법은 계산 효율성과 등변성을 유지하면서 MD22 및 Chignolin 데이터셋에서 최대 40%의 오차 감소를 달성하여 최신 기준 성능을 확보한다.

ABSTRACT

Computational simulation of chemical and biological systems using ab initio molecular dynamics has been a challenge over decades. Researchers have attempted to address the problem with machine learning and fragmentation-based methods. However, the two approaches fail to give a satisfactory description of long-range and many-body interactions, respectively. Inspired by fragmentation-based methods, we propose the Long-Short-Range Message-Passing (LSR-MP) framework as a generalization of the existing equivariant graph neural networks (EGNNs) with the intent to incorporate long-range interactions efficiently and effectively. We apply the LSR-MP framework to the recently proposed ViSNet and demonstrate the state-of-the-art results with up to 40% MAE reduction for molecules in MD22 and Chignolin datasets. Consistent improvements to various EGNNs will also be discussed to illustrate the general applicability and robustness of our LSR-MP framework. The code for our experiments and trained model weights could be found at https://github.com/liyy2/LSR-MP.

연구 동기 및 목표

• 큰 분자 시스템에서 장거리 및 다체 상호작용을 포착하는 데에 기존의 등변성 그래프 신경망의 한계를 해결하기 위해.
• 계산 확장성이나 회전 등변성을 포기하지 않고도 장거리 상호작용을 효율적으로 그래프 신경망 포텐셜에 통합하기 위해.
• 다양한 EGNN 아키텍처와 분자 데이터셋에 걸쳐 프레임워크를 일반화하여 광범위한 적용 가능성을 입증하기 위해.
• 분할 유도 메시지 전달 방식을 통해 국소가 아닌 상호작용을 통합함으로써 아비시노 분자 동역학 시뮬레이션의 정확도를 향상시키기 위해.
• 단기적 및 장기적 메시지 전달을 분리함으로써 정보 과잉 압축을 방지하고 데이터 효율성을 유지하기 위해.

제안 방법

• LSR-MP 프레임워크는 이중 수준의 메시지 전달 아키텍처를 도입한다: 절단 반경 내에서의 국소 다체 상호작용을 위한 단기 모듈과, 프ragment 간 상호작용을 위한 장기 모듈.
• 장거리 상호작용을 모델링하기 위해 분할 기반 접근법을 사용하며, 분자들이 하위 시스템으로 분할되고, 하위 시스템 간 상호작용이 명시적으로 계산된다.
• 장기 메시지 전달은 프래그먼트와 원자 간의 이분 그래프 네트워크로 구현되며, 벡터 및 스칼라 임bedding 변환을 통해 회전 등변성을 유지한다.
• 모든 메시지 전달 연산이 회전 변환과 가환성을 가지도록 보장함으로써 등변성을 유지하며, 임베딩에 대한 회전 등변 갱신 규칙을 통해 이를 수학적으로 증명한다.
• 에너지 및 힘 예측의 평균 제곱오차를 조합한 가중치 손실 함수를 사용하며, 에너지와 힘 정확도 사이의 트레이드오프를 제어하는 하이퍼파rameter가 포함된다.
• 벡터-스칼라 상호작용 메커니즘을 사용하여 장거리 메시지 전달을 통합한 ViSNet의 변종인 ViSNet-LSRM으로 구현된다.

실험 결과

연구 질문

• RQ1 메시지 전달 프레임워크는 회전 등변성을 유지하면서도 분자 시스템에서 장거리 상호작용을 효과적으로 포착할 수 있는가?
• RQ2 분할 기반 장거리 메시지 전달을 통합함으로써 대규모 분자 시스템에서 그래프 신경망 포텐셜의 정확도는 어떻게 향상되는가?
• RQ3 LSR-MP 프레임워크는 다양한 EGNN 백본과 분자 데이터셋으로 일반화될 수 있는가?
• RQ4 표준 EGNN과 비교해 장거리 상호작용 통합이 에너지 및 힘 예측 오차를 줄이는가?
• RQ5 비국소 상호작용을 모델링하면서도 계산 효율성과 데이터 효율성을 유지할 수 있는가?

주요 결과

• LSR-MP 프레임워크는 기준 모델 대비 MD22 및 Chignolin 데이터셋에서 에너지 및 힘 예측 오차를 최대 40% 감소시켰다.
• LSR-MP의 구현체인 ViSNet-LSRM은 이전 모델보다 파rameter 수가 적고 학습 속도가 빠르며, 최신 기준 성능을 달성했다.
• 프레임워크는 PaiNN, ET, Equiformer 등 여러 EGNN 백본에서 성능 향상을 보이며 광범위한 호환성과 강건성을 입증했다.
• 벡터 및 스칼라 임베딩에 대한 수학적으로 증명된 변환 규칙을 통해 회전 등변성이 유지됨을 입증했다.
• 장기 메시지 전달 메커니즘이 장거리 전자기적 상호작용 및 반데르발스 힘과 같은 비국소 상호작용을 효과적으로 포착하며, 기존 국소 메시지 전달 방식이 놓치는 상호작용을 보완한다.
• 제거 실험 결과 장기 모듈이 강력한 비국소 상호작용을 포함한 시스템에서 성능 향상에 기여한다는 점이 확인되었다.