[論文レビュー] Overcoming systematic softening in universal machine learning interatomic potentials by fine-tuning

Bowen Deng, Yunyoung Choi+7 more|arXiv (Cornell University)|May 11, 2024

Neural Networks and Applications被引用数 13

ひとこと要約

この論文は3つの基盤uMLIP（M3GNet, CHGNet, MACE-MP-0）における普遍的なPESソフトニングを特定し、単一データポイントによる最小限のファインチューニングで大部分のバイアスを是正できることを示し、分布外の原子環境への外挿性を改善する。

ABSTRACT

Machine learning interatomic potentials (MLIPs) have introduced a new paradigm for atomic simulations. Recent advancements have seen the emergence of universal MLIPs (uMLIPs) that are pre-trained on diverse materials datasets, providing opportunities for both ready-to-use universal force fields and robust foundations for downstream machine learning refinements. However, their performance in extrapolating to out-of-distribution complex atomic environments remains unclear. In this study, we highlight a consistent potential energy surface (PES) softening effect in three uMLIPs: M3GNet, CHGNet, and MACE-MP-0, which is characterized by energy and force under-prediction in a series of atomic-modeling benchmarks including surfaces, defects, solid-solution energetics, phonon vibration modes, ion migration barriers, and general high-energy states. We find that the PES softening behavior originates from a systematic underprediction error of the PES curvature, which derives from the biased sampling of near-equilibrium atomic arrangements in uMLIP pre-training datasets. We demonstrate that the PES softening issue can be effectively rectified by fine-tuning with a single additional data point. Our findings suggest that a considerable fraction of uMLIP errors are highly systematic, and can therefore be efficiently corrected. This result rationalizes the data-efficient fine-tuning performance boost commonly observed with foundational MLIPs. We argue for the importance of a comprehensive materials dataset with improved PES sampling for next-generation foundational MLIPs.

研究の動機と目的

• 3つの基盤uMLIP（M3GNet, CHGNet, MACE-MP-0）の外挿性能を、分布外の原子環境で評価する。
• 表面、欠陥、固溶体エネルギー、フォノン、イオン拡散、そして高エネルギー状態など、uMLIPにおける系統的なPESソフトニングを特徴づける。
• ソフトニングの起源を特定し、ロバスト性を高めるためのデータ効率の高い対策を提案する。

提案手法

• 3つのuMLIPをDFTと比較し、多様なOODタスクセットでベンチマークする：表面エネルギー、欠陥エネルギー、固溶体エネルギー、フォノン特性、イオン拡散障壁。
• 高エネルギー状態におけるuMLIPとDFT力の傾きから定義されるソフトニング尺度を用いてPESソフトニングを定量化する。
• 1つのDFTラベルを用いて線形補正（スカラー因子）でソフトニングを除去することを実証し、完全なファインチューニングと比較する。
• 多くの誤差が系統的で限られたデータで是正可能であると主張し、データ効率の高いファインチューニングの理論的根拠を提供する。

Figure 1: Potential energy surface softening in uMLIPs . Left: schematic representation of the potential energy surface (PES) described in density functional theory (DFT), with two arbitrary coordinate axes. Right: PES described by universal machine learning interatomic potentials (uMLIPs), which we

実験結果

リサーチクエスチョン

• RQ1 事前訓練済みのuMLIPは、高エネルギーの分布外構成におけるエネルギーと力を系統的に過小評価するか？
• RQ2 PESソフトニングは複数のuMLIPおよび化学系において普遍的な現象か？
• RQ3 非常に少数のラベル（1つさえ）を用いた最小限のファインチューニングでソフトニングを正し、OODタスクの精度を向上させることができるか？
• RQ4 モデルサイズがソフトニングと外挿に与える影響は何か、データ効率の高いファインチューニングはそれを補えるか？

主な発見

• 3つのuMLIP（M3GNet, CHGNet, MACE）はすべてOODベンチマークでエネルギーと力を過小評価しており、PESソフトニングを示している。
• 欠陥エネルギー、表面エネルギー、固溶体エネルギー、フォノン周波数、イオン拡散障壁はDFTと比較して一貫してソフトニングされている。
• 高エネルギー1点のデータを用いた線形補正で力分布を対角線に戻し、MAEを大幅に低減（例：CHGNetを0.190から0.166 eV/Åへ）
• ラベル付き構造体がわずか10件程度のファインチューニングでも力のMAEをさらに低減（例：CHGNetを0.125 eV/Åへ）
• ソフトニング尺度は1000個のWBM化合物で通常1未満であり、現在のuMLIP全体の化学系に普遍的な系統的バイアスを示している。
• より大きなモデル（例：MACE）はソフトニングの減少とMAEの改善を示し、能力が役立つ一方でデータ効率的な補正が依然として有効であることを示唆している。

Figure 2: uMLIP performance on surfaces, defects, and solid solutions. (a) Comparison of DFT surface energies and MLIP surface energies, evaluated on 147 surfaces from 29 chemical systems. (b) Comparison of DFT defect energies and MLIP defect energies, evaluated on 134 point defects from 32 chemical