[논문 리뷰] PolyGET: Accelerating Polymer Simulations by Accurate and Generalizable Forcefield with Equivariant Transformer

Rui Feng, Tran Doan Huan외 5명|arXiv (Cornell University)|2023. 09. 01.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

PolyGET는 3D 원자 좌표에서 회전-이동 불변 원자 표현을 학습하는 등장하는 변환기를 백본 모델로 사용하여 일반화 가능하고 힘 중심인 기계학습 힘장(Forcefield)을 제안한다. 에너지-힘 동시 최적화가 아닌 힘 전용으로만 훈련함으로써, 24종의 고분자 가족에 걸쳐 분자 동역학 시뮬레이션에서 최신 기술 수준의 정확도와 내구성을 달성하며, 사전에 볼 수 없거나 더 큰 고분자에 대해서도 아비니오 수준의 정밀도로 일반화된다.

ABSTRACT

Polymer simulation with both accuracy and efficiency is a challenging task. Machine learning (ML) forcefields have been developed to achieve both the accuracy of ab initio methods and the efficiency of empirical force fields. However, existing ML force fields are usually limited to single-molecule settings, and their simulations are not robust enough. In this paper, we present PolyGET, a new framework for Polymer Forcefields with Generalizable Equivariant Transformers. PolyGET is designed to capture complex quantum interactions between atoms and generalize across various polymer families, using a deep learning model called Equivariant Transformers. We propose a new training paradigm that focuses exclusively on optimizing forces, which is different from existing methods that jointly optimize forces and energy. This simple force-centric objective function avoids competing objectives between energy and forces, thereby allowing for learning a unified forcefield ML model over different polymer families. We evaluated PolyGET on a large-scale dataset of 24 distinct polymer types and demonstrated state-of-the-art performance in force accuracy and robust MD simulations. Furthermore, PolyGET can simulate large polymers with high fidelity to the reference ab initio DFT method while being able to generalize to unseen polymers.

연구 동기 및 목표

• 다양한 고분자 가족에 걸쳐 높은 정확도와 시뮬레이션 내구성을 유지하면서 일반화 가능한 기계학습 힘장을 개발하는 것.
• 단일 분자에서 훈련되거나 에너지-힘 동시 최적화 목적이 상충되는 기존 기계학습 힘장의 한계를 극복하는 것.
• 통합적이고 이식 가능한 모델을 사용하여 큰 복잡한 고분자의 신뢰할 수 있는 장기 시뮬레이션을 가능하게 하는 것.
• 일관성 있는 일반화와 안정성을 향상시키기 위해 힘 예측에만 집중하는 훈련 철학을 수립하는 것.
• 24종의 고유한 고분자 유형을 포함하는 대규모 고분자 벤치마크에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 3D 원자 좌표에서부터 회전-이동 불변 원자 표현을 학습하기 위해 등장하는 변환기를 백본 모델로 사용한다.
• 에너지 잠재 에너지와의 경쟁 목표를 피하기 위해 힘 예측에만 중점을 둔 새로운 힘 중심 훈련 철학을 도입한다.
• 24종의 고분자 가족으로 구성된 다양한 데이터셋에서 단일 통합 모델을 훈련시켜, 볼 수 없거나 더 큰 고분자에 대한 일반화를 가능하게 한다.
• 학습된 힘 예측을 수치 적분을 통해 잠재 에너지를 추정함으로써 아비니오 기준 데이터와의 일관성을 유지한다.
• 4개의 카테고리(사이클로알칸, 락톤, 에터, 기타)에 걸쳐 총 655만 개의 구조를 포함하는 대규모 벤치마크 데이터셋인 Poly24를 사용한다.
• 에너지 보존과 힘 정확도를 보장하기 위해 물리적 불변성을 유지하는 어텐션 메커니즘을 통해 등장성(-equivariance)을 강제한다.

Figure 1: PolyGET learns a single forcefield model across various polymer families by capturing quantum mechanical interactions. The unified model captures generalizable knowledge from ab-initio reference calculations. PolyGET enables accurate and reliable MD simulations while being able to generali

실험 결과

연구 질문

• RQ1 다양한 고분자 가족에서 훈련된 단일 통합 기계학습 모델이 높은 정밀도로 볼 수 없는 더 큰 고분자에 일반화될 수 있는가?
• RQ2 에너지-힘 동시 최적화 대비 힘 전용 훈련 목표가 더 안정적이고 일반화 가능한 힘 예측을 이끌 수 있는가?
• RQ3 등장하는 변환기 기반 모델이 계산 효율성을 유지하면서도 힘 예측에서 아비니오 수준의 정확도를 달성할 수 있는가?
• RQ4 제안된 훈련 철학은 기존 방법과 비교해 시뮬레이션 안정성과 분포 외 일반화 측면에서 어떻게 다른가?
• RQ5 미세조정 없이도 화학적으로 다를 수 있는 고분자 가족 간에 지식을 얼마나 효과적으로 이식할 수 있는가?

주요 결과

• PolyGET는 Poly24 벤치마크에서 최신 기술 수준의 힘 정확도를 달성하여, 분포 내 및 분포 외 설정 모두에서 기존 기계학습 힘장을 능가한다.
• 모델은 재훈련 없이도 이전에 볼 수 없었던 큰 고분자에 대해 효과적으로 일반화되며, 분자 동역학 시뮬레이션에서 높은 정확도를 유지한다.
• 힘 중심 훈련 철학은 에너지-힘 동시 최적화에 비해 더 안정적이고 내구성 있는 시뮬레이션을 가능하게 하며, 힘 예측의 노이즈 증폭을 감소시킨다.
• 훈련 중에 힘 예측에만 집중함에도 불구하고, 모델은 아비니오 기준 에너지와 선형 상관관계를 가지는 잠재 에너지 값을 생성하여 통합을 통한 정확한 에너지 추정이 가능하다.
• 통합적 다중 분자 훈련 방식을 통해 사이클로알칸, 락톤, 에터 등 다양한 고분자 가족 간에 양자역학적 상호작용에 대한 이식 가능한 지식을 확보한다.
• PolyGET는 아비니오 방법의 정확도를 유지하면서도 높은 계산 효율성을 보이며, 복잡한 고분자 시스템의 장기 시뮬레이션을 가능하게 한다.

Figure 2: The distribution of per-atom potential energies and forces across different polymers. Forces exhibit similar distributions for various types of polymers, whereas the per-atom potential energy does not.