[論文レビュー] Improved uncertainty quantification for Gaussian process regression based interatomic potentials

Albert P. Bartók, James. R. Kermode|arXiv (Cornell University)|Jun 17, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本稿では、ガウス過程回帰（GPR）に基づく原子間ポテンシャルにおけるハイパーパrameter最適化に、マージナル尤度の代わりにleave-one-out cross-validation（LOO-CV）尤度を用いることで、不確実性評価（UQ）の信頼性を顕著に向上させることを提案する。LOO-CV手法は予測誤差の過大評価を低減し、アルゴン三体および二体系においてその有効性を実証した。標準的なGPRやヒューリスティックな調整に比べ、より正確で頑健な誤差推定が得られる。

ABSTRACT

The error estimation capability of machine learning interatomic potentials (MLIPs) based on probabilistic learning methods such as Gaussian process regression (GPR) is currently under-exploited, because of the tendancy of the predicted errors to overestimate the true error. We present approaches based on maximising either the marginal likelihood or an alternative likelihood constructed using leave-one-out cross validation to provide improved error estimates for interatomic potentials based on GPR. We benchmarked these approaches on models representing the Ar trimer, showing significant improvements in the robustness of the predicted error estimates.

研究の動機と目的

• 機械学習原子間ポテンシャル（MLIPs）における不確実性評価（UQ）の未活用状態、特にガウス過程回帰（GPR）による予測誤差の過大評価を是正すること。
• マージナル尤度最大化の限界を克服し、GPRに基づくMLIPsにおける過信または不正確な誤差推定を回避すること。
• Gaussian approximate potentials（GAP）におけるヒューリスティックなハイパーパrameter選定の代替として、より頑健なLOO-CV尤度最適化を提案すること。
• スケールを跨ぐ材料モデリングにおける関心の対象（QoI）の派生量に対する予測誤差バーの信頼性を向上させ、スケール間での不確実性伝播を改善すること。
• LOO-CVに基づく最適化が、小規模な第一原理ベンチマーク系において、標準GPRやヒューリスティック手法に比べてより正確で現実的な不確実性推定をもたらすことを実証すること。

提案手法

• 予測性能をモデルの正しさを仮定せずに推定できるLOO-CV尤度を最大化することで、GPRに基づく原子間ポテンシャルのハイパーパrameterを最適化する。
• 二体および三体のアルゴン系において、LOO-CV最適化を標準的なマージナル尤度最大化およびヒューリスティックなハイパーパrameter選定（GAPヒューリスティクス）と比較する。
• 短距離反発と長距離分散を明示的な基底関数でモデル化し、BFGSと自動微分を用いて、核のハイパーパramータ（例：長尺度 ℓ、信号分散 δ）を最適化する。
• 平均二乗誤差（RMSE）を用いてモデル性能を評価し、交差検証による真の誤差と予測誤差分散を比較する。
• パrametricおよび非パラメトリックな誤差寄与を分解することで、ハイパーパramータの選択が誤差構造に与える影響を分析する。
• 将来の大規模データセットおよびスパースGP設定への拡張のためのスケーラブルな代替手法として、Pareto-smoothed importance sampling（PSIS）を適用する。

実験結果

リサーチクエスチョン

• RQ1 LOO-CV尤度最適化は、マージナル尤度最大化に比べ、GPRに基づく原子間ポテンシャルにおける予測誤差推定の信頼性を高めることができるか？
• RQ2 LOO-CV手法は、ヒューリスティックなハイパーパrameterチューニングに比べ、誤差推定の精度および頑健性において優れているか？
• RQ3 異なるハイパーパramータの選択（例：δ, ℓ）が、二体および三体項における誤差の分解に与える影響は何か？
• RQ4 LOO-CV最適化は、学習データから離れた領域において、GPRが予測誤差を過大評価する傾向を低減するか？
• RQ5 LOO-CV手法は、SOAPやACEのような複雑な多体記述子を用いた実用的な材料シミュレーションに、大規模データセットへスケーリング可能か？

主な発見

• LOO-CV手法は、マージナル尤度最大化およびヒューリスティックなハイパーパramータ選定に比べ、予測誤差推定の信頼性を顕著に向上させた。
• マージナル尤度最適化は最低のRMSE（1.7 meV/atom）を達成したが、一部の領域で真の誤差を過大評価しており、不確実性のキャリブレーションが不十分であることが示された。
• LOO-CV手法は最も正確な誤差推定を達成し、RMSEは2.4 meV/atomと低く抑えられたが、予測誤差と真の誤差の相関がはるかに良好であった。
• LOO-CVにより、二体および三体項の重み付けがよりバランスよくなった。δ₂ = 1429 eV、δ₃ = 0.0006 eVであり、二体相互作用への重み付けが強化された。
• LOO-CVモデルの長尺度パラメータは、三体記述子の各成分に均等に分布しており（ℓ₁ = 239 Å、ℓ₂ = 329 Ų、ℓ₃ = 344 Å）、より良い一般化性能を示した。
• 明示的な基底関数アプローチは長距離における不確実性に寄与しており、その寄与はLOO-CVケースでより大きかった。これは、分布外挙動のより良いモデリングを示唆している。