[논문 리뷰] Taming Multi-Domain, -Fidelity Data: Towards Foundation Models for Atomistic Scale Simulations

Tomoya Shiota, Kenji Ishihara외 3명|arXiv (Cornell University)|2024. 12. 17.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 유기 분자와 이차원 결정을 포함한 다중 도메인, 다중 정밀도 양자 화학 데이터셋을 비용이 많이 들지 않는 재계산 없이 통합하는 Total Energy Alignment (TEA) 방법을 소개한다. TEA를 사용하여 저자들은 MACE-Osaka24라는 단일 오픈소스 신경망 위치 에너지 모델을 훈련시켰으며, 이는 분자의 반응 경계와 이차원 결정의 물성에 대해 최신 기술 수준의 정확도를 달성한다. 이는 원자적 시뮬레이션에서 기초 모델의 민주화된 개발을 가능하게 한다.

ABSTRACT

Machine learning interatomic potentials (MLIPs) are changing atomistic simulations in the field of chemistry and materials science. However, constructing a single universal MLIP that can accurately model molecular and crystalline systems remains challenging. A central obstacle is the integration of diverse datasets generated under different computational conditions. We present Total Energy Alignment (TEA), which is an approach that enables the seamless integration of heterogeneous quantum chemical datasets without redundant calculations. Using TEA, we trained MACE-Osaka24, the first open-source MLIP model based on a unified dataset covering molecular and crystalline systems. This universal model displays strong performances across diverse chemical systems, exhibiting similar or improved accuracies in predicting organic reaction barriers compared to those of specialized models, while effectively maintaining state-of-the-art accuracies for inorganic systems. These advancements pave the way for accelerated discoveries in the fields of chemistry and materials science via genuine foundation models for chemistry.

연구 동기 및 목표

• 분자의 및 결정성 시스템에서 사용되는 다양한 계산 방법(예: DFT 기능, 기저 집합)으로부터 유래한 이질적인 양자 화학 데이터셋 통합 문제를 해결하기 위해.
• 대규모 계산 자원이 없는 연구자들이 보편적인 머신러닝 상호작용 위치 에너지 모델(MLIP)에 접근하는 것을 제한하는 계산 비용 장벽을 극복하기 위해.
• 단일 모델 내에서 유기 분자와 이차원 결정을 정확하게 모델링할 수 있는 통합된 오픈소스 신경망 위치 에너지 모델을 개발하기 위해.
• 전통적인 분자 및 고체상 시스템 간의 도메인 경계를 초월하는 기초 모델의 개발을 가능하게 하기 위해.

제안 방법

• Total Energy Alignment (TEA)를 적용: 두 단계 프레임워크로 구성되며, 첫 번째 단계에서 데이터셋 간 내핵 기준 에너지를 정렬하고, 두 번째 단계에서 원자 분해 에너지를 조정하여 총 에너지를 조율한다.
• 이중 단계 校정: 공통 기준점을 사용하여 각 데이터셋의 고립된 원자 기준 에너지를 정렬한 후, 기능 및 기저 집합의 차이를 보정하기 위해 원자 분해 에너지를 스케일링한다.
• MPtrj(이차원) 및 OFF23(유기) 데이터셋을 통합한 단일 데이터셋을 기반으로 MACE 기반 신경망 위치 에너지 모델(MACE-Osaka24)을 훈련시되, 도메인 특화 정확도를 유지한다.
• MACE 아키텍처의 등방성 및 메시지 전달 설계를 활용하여 다양한 화학 환경에서 물리적 일관성을 보장한다.
• 표준화된 벤치마크를 사용해 모델을 검증한다: 반응 경계 예측, 격자 상수 최적화, TIP3P 및 TIP4P/2005 수분 모델을 사용한 고전적 MD 시뮬레이션.
• D3(BJ) 분산 보정을 적용한 수정된 OpenMM-ML 인터페이스를 사용해 ML 기반 MD를 구현하여 장기 시뮬레이션의 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 다양한 DFT 기능과 기저 집합에서 유래한 이질적인 양자 화학 데이터셋을 광범위한 재계산 없이 통합할 수 있는가?
• RQ2 단일 보편적인 머신러닝 상호작용 위치 에너지 모델이 분자 및 결정성 시스템 양쪽 모두에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ3 제안된 TEA 방법이 계산 자원이 제한된 연구자가 원자적 시뮬레이션의 기초 모델에 기여하고 이에 혜택을 볼 수 있도록 할 수 있는가?
• RQ4 통합 모델의 성능은 다양한 화학 시스템에서 반응 경계와 격자 상수를 예측할 때 전문 모델과 비교해 어떻게 되는가?

주요 결과

• MACE-Osaka24는 이차원 결정 격자 상수에 대해 0.0153 eV/atom의 평균 절대 오차(MAE)를 기록했고, 분자의 반응 경계에 대해서는 0.0205 eV/atom를 기록하여 후자의 경우 전문 모델을 초월한다.
• 모델은 이차원 시스템에 대해 최신 기술 수준의 정확도를 유지한다(비-BCC 결정의 경우 MAE < 0.02 Å)이며, 도메인 특화 모델과 비교해도 동등하거나 향상된 성능을 보인다.
• BCC 결정(K, Rb, Cs)의 경우, MACE-Osaka24의 4.5 Å 캐리어 반경으로 인해 격자 상수가 증가함에 따라 예측 오차가 증가한다. 이는 큰 격자 구조에서 장거리 상호작용을 포착하지 못하는 모델의 능력 한계를 반영한다.
• TEA를 통해 MPtrj(이차원) 및 OFF23(유기) 데이터셋을 총 에너지 재계산 없이 원활하게 통합할 수 있었으며, 계산 오버헤드를 줄이고 통합 데이터셋에 대한 접근성을 민주화했다.
• TIP4P/2005를 기준으로 한 MACE-Osaka24를 사용한 고전적 MD 시뮬레이션에서 반경 분포 함수와 확산 계수에 양호한 일치가 관찰되어 장기적 안정성과 정확도를 확인했다.
• 모델의 성능은 물집합과 테라펩타이드를 포함한 다양한 화학 환경에서도 뛰어나며, 훈련 데이터를 초월한 일반화 능력을 입증했다.