[논문 리뷰] Overcoming systematic softening in universal machine learning interatomic potentials by fine-tuning

Bowen Deng, Yunyoung Choi외 7명|arXiv (Cornell University)|2024. 05. 11.

Neural Networks and Applications인용 수 13

한 줄 요약

논문은 세 가지 기초 uMLIPs(M3GNet, CHGNet, MACE-MP-0)에서 보편적 PES 연화를 확인하고, 한 데이터 포인트로의 최소 파인튜닝으로 바이어스를 크게 교정하여 out-of-distribution 원자 환경에 대한 외삽성을 개선한다.

ABSTRACT

Machine learning interatomic potentials (MLIPs) have introduced a new paradigm for atomic simulations. Recent advancements have seen the emergence of universal MLIPs (uMLIPs) that are pre-trained on diverse materials datasets, providing opportunities for both ready-to-use universal force fields and robust foundations for downstream machine learning refinements. However, their performance in extrapolating to out-of-distribution complex atomic environments remains unclear. In this study, we highlight a consistent potential energy surface (PES) softening effect in three uMLIPs: M3GNet, CHGNet, and MACE-MP-0, which is characterized by energy and force under-prediction in a series of atomic-modeling benchmarks including surfaces, defects, solid-solution energetics, phonon vibration modes, ion migration barriers, and general high-energy states. We find that the PES softening behavior originates from a systematic underprediction error of the PES curvature, which derives from the biased sampling of near-equilibrium atomic arrangements in uMLIP pre-training datasets. We demonstrate that the PES softening issue can be effectively rectified by fine-tuning with a single additional data point. Our findings suggest that a considerable fraction of uMLIP errors are highly systematic, and can therefore be efficiently corrected. This result rationalizes the data-efficient fine-tuning performance boost commonly observed with foundational MLIPs. We argue for the importance of a comprehensive materials dataset with improved PES sampling for next-generation foundational MLIPs.

연구 동기 및 목표

• 세 가지 기초 uMLIPs(M3GNet, CHGNet, MACE-MP-0)의 out-of-distribution 원자 환경에 대한 외삽 성능을 평가한다.
• 표면, 결함, 고용질Energetics, 포논, 이온 이동 및 고에너지 상태에서 uMLIPs의 체계적 PES 연화를 특성화한다.
• 연화의 기원을 식별하고 견고성을 높이기 위한 데이터 효율적 해결책을 제안한다.

제안 방법

• 다양한 OOD 작업에서 DFT와의 벤치마크를 통해 세 가지 uMLIPs를 평가한다: 표면 에너지, 결함 에너지, 고용질 energetics, 포논 특성 및 이온 이동 장벽.
• 고에너지 상태에서 uMLIP와 DFT 힘의 기울기로 정의된 연화 척도를 통해 PES 연화를 정량화한다.
• 하나의 DFT 라벨을 사용하여 선형 보정(스칼라 인자)으로 연화를 제거하고 전체 파인튜닝과 비교한다.
• 데이터 효율적 파인튜닝의 이론적 근거를 제시하고, 많은 오차가 체계적이며 제한된 데이터로도 수정 가능하다고 주장한다.

Figure 1: Potential energy surface softening in uMLIPs . Left: schematic representation of the potential energy surface (PES) described in density functional theory (DFT), with two arbitrary coordinate axes. Right: PES described by universal machine learning interatomic potentials (uMLIPs), which we

실험 결과

연구 질문

• RQ1 사전 학습된 uMLIPs가 고에너지의 out-of-distribution 구성에서 에너지와 힘을 체계적으로 과소추정하는가?
• RQ2 PES 연화가 여러 uMLIPs 및 화학 시스템에 걸쳐 보편적인 현상인가?
• RQ3 매우 적은 라벨(심지어 하나)로의 최소한의 파인튜닝이 연화를 교정하고 OOD 작업의 정확도를 향상시킬 수 있는가?
• RQ4 모델 크기가 연화 및 외삽성에 미치는 영향은 무엇이며 데이터 효율적 파인튜닝이 이를 보상할 수 있는가?

주요 결과

• 세 가지 uMLIPs(M3GNet, CHGNet, MACE)가 OOD 벤치마크에서 에너지와 힘을 과소추정하여 PES 연화를 나타낸다.
• 결함 에너지, 표면 에너지, 고용질 energetics, 포논 주파수, 이온 확산 장벽이 DFT에 비해 일관되게 연화된다.
• 고에너지 데이터를 하나 사용해 모델을 선형 보정하면 힘 분포를 대각선으로 회전시켜 힘 MAE를 크게 감소시킨다(예: CHGNet는 0.190에서 0.166 eV/Å로 감소).
• 최소 10개의 라벨 구조로 파인튜닝하면 힘 MAE가 더 감소한다(예: CHGNet를 0.125 eV/Å로 감소), 데이터 효율적 개선을 보여준다.
• 1000개의 WBM 화합물에서의 연화 척도는 대개 < 1로 나타나, 현재의 uMLIPs에서 화학 전반에 걸친 보편적 체계적 바이어스를 시사한다.
• 더 큰 모델(MACE 등)은 연화가 감소하고 MAE 성능이 향상되지만, 데이터 효율적 보정도 여전히 효과적임을 시사한다.

Figure 2: uMLIP performance on surfaces, defects, and solid solutions. (a) Comparison of DFT surface energies and MLIP surface energies, evaluated on 147 surfaces from 29 chemical systems. (b) Comparison of DFT defect energies and MLIP defect energies, evaluated on 134 point defects from 32 chemical