[논문 리뷰] Models and code from: Performance Assessment of Universal Machine Learning Interatomic Potentials: Challenges and Directions for Materials' Surfaces

Bruno Focassio, Luis Paulo Mezzina Freitas외 1명|arXiv (Cornell University)|2024. 03. 07.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 연구는 표면 에너지 예측에서 보편적인 기계학습 원자간 포텐셜(UIPs) — MACE, CHGNet, M3GNet — 의 제로샷 일반화 성능을 평가하며, 그들의 배타적인 격자 기반 훈련 데이터에서 벗어난 영역에서의 편차로 인해 정확도에 심각한 결함이 있음을 드러낸다. 이러한 기초 모델들을 표면 전용 데이터로 미세조정하면 성능이 크게 향상되며, 이는 UIPs가 표면에 대해 즉시 사용하기에는 부적절하지만, 전문화된 고정밀도 모델을 위한 매우 효율적인 기초가 될 수 있음을 보여준다.

ABSTRACT

All trained models, training data, and test data are available as files with instructions on their use in a compressed .zip file.

연구 동기 및 목표

• UIPs의 훈련 데이터에 표면이 잘 포함되어 있지 않은 도메인인 표면에 대해 보편적인 기계학습 원자간 포텐셜(UIPs)의 제로샷 일반화 능력을 평가하는 것.
• 표면 에너지 예측에 대해 기초적인 UIP을 미세조정하는 것이, 전용 MLIP를 처음부터 훈련시키는 것보다 더 효율적이고 정확한가를 판단하는 것.
• UIPs가 표면에 적용되었을 때 발생하는 예측 오류의 근본 원인을 에너지 척도와 화학 조성과 관련하여 규명하는 것.
• 표면, 인터페이스, 다양한 물질을 포함한 더 포괄적인 보편적 훈련 데이터셋을 구축할 것을 주장하는 것.

제안 방법

• 표면 에너지 예측 평가를 위해 73개 원소에서 온 1,497개의 표면 구조를 포함하는 Materials Project 표면 데이터셋을 사용한다.
• MACE, CHGNet, M3GNet의 세 개의 오픈소스 보편 모델을 표면 데이터셋에서 사전 훈련된 가중치를 사용하여 평가한다.
• 미세조정은 정제된 표면 데이터셋의 90:10 훈련-검증 분할을 사용하여 MACE에 대해 수행되며, 에너지 및 힘 손실을 최적화하기 위해 초모수를 조정한다.
• 직접 성능 비교를 위해 동일한 표면 데이터를 사용하여 NequIP 및 MTP 아키텍처를 기반으로 전용 모델을 처음부터 훈련시킨다.
• 오류 분석은 예측 오류를 표면 시뮬레이션의 총 에너지와 화학 환경과 관련지어 분석하며, 훈련 데이터에서의 도메인 외 편차를 식별한다.
• UIPs, 미세조정된 UIPs, 전용 MLIPs 간의 비교는 요약도 및 원소별 오류 분포를 통해 수행된다.

Figure 1: MP surfaces dataset exploration. (a) Periodic table heatmap for the number of surfaces of each element. (b) Boxplot and violin plot for surface energy of each element within the dataset. The horizontal lines in the middle of the boxes mark the medians. The boxes are plotted from the first

실험 결과

연구 질문

• RQ1 UIPs가 격자 기반 물질에 훈련된 후, 표면에 대해 미세조정 없이도 정확한 표면 에너지를 예측할 수 있는가?
• RQ2 UIPs의 예측 오류는 표면 시스템의 에너지 척도나 화학 환경과 어떤 관계가 있는가?
• RQ3 표면 에너지 예측에 대해, 기초적인 UIP을 미세조정하는 것이 전용 MLIP를 처음부터 훈련시키는 것보다 더 효율적이고 정확한가?
• RQ4 UIPs의 예측 오류는 원래 훈련 데이터에서의 도메인 외 거리와 어떻게 관련이 있는가?
• RQ5 데이터셋 구성은 보편적 MLIP의 일반화 성능에 어떤 역할을 하는가? 이를 어떻게 개선할 수 있는가?

주요 결과

• 모든 오픈소스 보편적 MLIP(MACE, CHGNet, M3GNet)는 표면 에너지 계산에서 즉시 사용할 경우 심각한 예측 오류를 보이며, 표면에 대한 제로샷 일반화 능력이 떨어짐을 시사한다.
• 예측 오류는 표면 시스템의 총 에너지와 강하게 상관되어 있으며, 이는 모델들이 훈련 데이터의 격자 에너지 범위에서 벗어난 시스템에서는 어려움을 겪는다는 것을 시사한다.
• MACE와 같은 보편적 UIP을 소규모 표면 전용 데이터셋으로 미세조정하면 오류가 크게 감소하며, 처음부터 훈련된 전용 모델과 비교해도 유사한 성능을 달성한다.
• 현재 보편적 MLIP는 훈련 데이터에 표면 및 인터페이스 구조가 충분히 포함되어 있지 않아 표면에 대해 진정으로 보편적이지 않다는 점을 규명하였다.
• 결과적으로 보편적 모델은 미세조정을 위한 훌륭한 기초가 되지만, 적응 없이 복잡한 물질 표면에 직접 적용하기에는 아직 준비되지 않았다는 점을 강조한다.
• 저자들은 분자, 표면, 인터페이스, 결함을 포함한 포괄적인 보편적 훈련 데이터셋을 구축하여 물질 공간 전반에 걸친 진정한 일반화를 가능하게 해야 한다고 주장한다.

Figure 2: Performance assessment of the universal interatomic potentials over the surfaces dataset. (a) Parity plot for the total energy per atom of the bulk systems that gave origin to the surfaces of the dataset. (b) Parity plot for the total energy per atom of the surfaces within the dataset. (c)