[论文解读] Models and code from: Performance Assessment of Universal Machine Learning Interatomic Potentials: Challenges and Directions for Materials' Surfaces

Bruno Focassio, Luis Paulo Mezzina Freitas+1 more|arXiv (Cornell University)|Mar 7, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本研究评估了通用机器学习势（UIPs）——MACE、CHGNet 和 M3GNet——在表面能预测中的零样本泛化性能，发现由于其训练数据以体相为主，导致在分布外（out-of-domain）情况下出现显著的准确性不足。对表面特定数据进行微调可显著提升这些基础模型的性能，表明尽管UIPs在未微调状态下对表面表现不佳，但它们作为高精度专用模型的高效起点具有巨大潜力。

ABSTRACT

All trained models, training data, and test data are available as files with instructions on their use in a compressed .zip file.

研究动机与目标

• 评估通用机器学习势（UIPs）在材料表面的零样本泛化能力，该领域在其训练数据中代表性不足。
• 确定对通用UIPs进行微调是否比从零开始训练专用MLIP更高效且更准确。
• 识别将UIPs应用于表面时预测误差的根本原因，特别是与能量尺度和化学组成的关系。
• 倡导构建一个更全面的通用训练数据集，涵盖表面、界面以及超越体相固体的多样化材料。

提出的方法

• 本研究使用Materials Project表面数据集，其中包含来自73种元素的1,497个表面结构，用于评估UIPs在表面能预测中的表现。
• 使用其预训练权重，对三种开源通用模型——MACE、CHGNet 和 M3GNet——在该表面数据集上进行评估。
• 对MACE进行微调，使用经过筛选的表面数据集的90:10训练-验证划分，并针对能量和力损失优化超参数。
• 使用NequIP和MTP架构在相同表面数据上从零开始训练专用模型，以实现直接性能对比。
• 通过将预测误差与表面模拟的总能量及化学环境相关联，进行误差分析，识别出分布外偏差。
• 通过一致性图和各元素的误差分布，对比UIPs、微调后的UIPs与专用MLIP的性能。

Figure 1: MP surfaces dataset exploration. (a) Periodic table heatmap for the number of surfaces of each element. (b) Boxplot and violin plot for surface energy of each element within the dataset. The horizontal lines in the middle of the boxes mark the medians. The boxes are plotted from the first

实验结果

研究问题

• RQ1 在仅基于体相材料训练的前提下，通用机器学习势（UIPs）是否能在未微调的情况下准确预测表面能？
• RQ2 UIPs中的预测误差与表面体系的能量尺度或化学环境之间存在何种关系？
• RQ3 对通用UIPs进行微调是否比从零开始训练专用MLIP更高效且更准确，用于表面能预测？
• RQ4 UIPs的预测误差与原始训练数据的分布外距离之间是否存在相关性？
• RQ5 数据集构成在通用MLIP泛化性能中起什么作用？如何改进？

主要发现

• 所有开源通用MLIP（MACE、CHGNet、M3GNet）在未经微调的情况下进行表面能计算时均表现出显著的预测误差，表明其在表面任务上的零样本泛化能力极差。
• 预测误差与表面体系的总能量强相关，表明模型在远离其体相训练数据能量范围的体系上表现困难。
• 在小规模表面特定数据集上对通用UIPs（如MACE）进行微调可显著降低误差，性能达到与从零开始训练的专用模型相当的水平。
• 本研究发现，当前的通用MLIP对表面并非真正意义上的“通用”，因其训练数据中对表面和界面构型的覆盖不足。
• 结果表明，尽管通用模型是微调的绝佳起点，但尚未准备好在未经适应的情况下直接应用于复杂材料表面。
• 作者倡导构建一个全面的通用训练数据集，包含分子、表面、界面和缺陷，以实现在整个材料空间中的真正泛化。

Figure 2: Performance assessment of the universal interatomic potentials over the surfaces dataset. (a) Parity plot for the total energy per atom of the bulk systems that gave origin to the surfaces of the dataset. (b) Parity plot for the total energy per atom of the surfaces within the dataset. (c)