[論文レビュー] Statistical methods for resolving poor uncertainty quantification in machine learning interatomic potentials

Emil Annevelink, Venkatasubramanian Viswanathan|arXiv (Cornell University)|Aug 29, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文は、理論的誤差および不確実性分布を用いて、機械学習原子間ポテンシャル（MLIPs）における最適な不確実性カットオフを決定する統計的フレームワークを提案する。誤差と不確実性を統計的アンサンブルとしてモデル化することで、ヒューリスティックな閾値を上回るデータ駆動型で一般化可能なカットオフを確立し、低コストの不確実性手法（例：スパースガウス過程、潜在距離メトリクス）を用いた堅牢なアクティブラーニングを可能にする。この手法は、真の誤差に基づく選択と同等の性能を達成する。

ABSTRACT

Machine learning interatomic potentials (MLIPs) are promising surrogates for quantum mechanics evaluations in ab-initio molecular dynamics simulations due to their ability to reproduce the energy and force landscape within chemical accuracy at four orders of magnitude less cost. While developing uncertainty quantification (UQ) tools for MLIPs is critical to build production MLIP datasets using active learning, only limited progress has been made and the most robust method, ensembling, still shows low correlation between high error and high uncertainty predictions. Here we develop a rigorous method rooted in statistics for determining an error cutoff that distinguishes regions of high and low UQ performance. The statistical cutoff illuminates that a main cause of the poor UQ performance is due to the machine learning model already describing the entire dataset and not having any datapoints with error greater than the statistical error distribution. Second, we extend the statistical analysis to create an interpretable connection between the error and uncertainty distributions to predict an uncertainty cutoff separating high and low errors. We showcase the statistical cutoff in active learning benchmarks on two datasets of varying chemical complexity for three common UQ methods: ensembling, sparse Gaussian processes, and latent distance metrics and compare them to the true error and random sampling, showing that the statistical cutoff is generalizable to a variety of different UQ methods and protocols and performs similarly to using the true error. Importantly, we conclude that utilizing this uncertainty cutoff enables using significantly lower cost uncertainty quantification tools such as sparse gaussian processes and latent distances compared to ensembling approaches for generating MLIP datasets at a fraction of the cost.

研究の動機と目的

• MLIPのアクティブラーニングワークフローにおける不確実性カットオフを設定するための原理的でない手法の欠如に対処すること。
• アンサンブルやその他の不確実性評価（UQ）手法が、高不確実性と高誤差を相関させない場合に生じる、不確実性評価性能の低さを解消すること。
• 誤差と不確実性の統計的分布に基づいて、高誤差予測と低誤差予測を区別する理論的根拠に基づいた一般化可能なカットオフを確立すること。
• モデルのキャリブレーションに依存しない信頼性の高い解釈可能なカットオフを提供することで、計算コストが低いUQ手法（例：スパースガウス過程、潜在距離）の使用を可能にすること。
• 統計的推論を用いて不確実性予測を実際の誤差分布に結びつけることで、アクティブラーニングの堅牢性を向上させること。

提案手法

• i.i.d.サンプリングの仮定の下で、MLIPの予測誤差の分布を統計的アンサンブルとしてモデル化し、それらがMaxwell-Boltzmannに類似した分布に従うと仮定する。
• 理論的誤差分布を用いて、トレーニング分布内と外の予測を分離する統計的カットオフを定義する。
• 不確実性予測に対しても同じ統計的フレームワークを適用し、特定の不確実性値がトレーニング不確実性値の分布と同じものである確率に基づいたカットオフを定義する。
• 統計的カットオフをアクティブラーニングパイプラインに統合し、モデルキャリブレーションに依存せずに、高誤差・分布外のサンプルを同定する。
• 2つの化学的複雑性が異なるデータセット上で、アンサンブル、スパースガウス過程、潜在距離メトリクスという3つのUQ手法に対して、本手法を検証する。
• 真の誤差とランダムサンプリングとの比較をベンチマークとして用い、一般化可能性と堅牢性を示すために統計的カットオフを活用する。

実験結果

リサーチクエスチョン

• RQ1 モデルキャリブレーションに依存しない統計的に原理的なカットオフを、MLIPにおける高誤差予測と低誤差予測を区別するためにどのように定義できるか？
• RQ2 なぜアンサンブルのような標準的な不確実性評価手法が、アクティブラーニングにおいて高不確実性と高誤差を相関させないのか？
• RQ3 誤差と不確実性の分布に基づく統計的フレームワークは、多様なUQ手法にわたって不確実性カットオフの信頼性を向上させることができるか？
• RQ4 統計的カットオフを用いる場合、低コストのUQ手法（例：スパースガウス過程）がアンサンブルをどれほど代替可能になるか？
• RQ5 MLIPデータセットのキュレーションにおけるアクティブラーニングベンチマークにおいて、統計的カットオフは真の誤差を用いる場合と比べてどの程度優れているか？

主な発見

• 統計的カットオフは、不確実性モデルが不正確にキャリブレートされていても、高誤差・分布外のサンプルを的確に同定でき、ヒューリスティックまたはランダムなカットオフを上回る性能を示す。
• 本手法は、不確実性評価性能の低さが、しばしばトレーニング分布をすでにモデルが完全に記述しているため、トレーニングデータ外に高誤差の点が存在しないことに起因していることを明らかにする。
• 統計的カットオフを用いたアクティブラーニングは、真の誤差を用いた場合と同等の性能を達成しており、真の誤差の代理としての妥当性を示している。
• スパースガウス過程と潜在距離法は、統計的カットオフを用いる際、データ効率性と安定性の面でアンサンブルを上回る性能を発揮する。
• 統計的カットオフは、異なるUQ手法やデータセット（例：Li3Mg や LiMg3 といった複雑な系を含む）に一般化可能であり、化学的複雑性に対しても堅牢であることが示された。
• 本フレームワークにより、キャリブレーションが不十分なモデルでも高誤差点の信頼性のある分類が可能となり、生産環境における高コストなアンサンブルの必要性が顕著に低減される。