[論文レビュー] Single-model uncertainty quantification in neural network potentials does not consistently outperform model ensembles

Aik Rui Tan, Shingo Urata+3 more|arXiv (Cornell University)|May 2, 2023

Machine Learning in Materials Science参考文献 73被引用数 4

ひとこと要約

本研究では、ニューラルネットワーク集合（ensemble）と比較して、単一モデルの不確実性評価（UQ）手法（平均・分散推定、ディープ証拠回帰、ガウス・ミクスチャ・モデル）がニューラルネットワーク原子間ポテンシャル（NNIP）の訓練に与える影響を評価する。計算コストが低いにもかかわらず、どの単一モデル手法も、データセットや評価指標にかかわらず、集合手法を常に上回ることはできず、活性学習ループにおける汎化性とロバスト性の観点から、集合手法が依然として優れていることが示された。

ABSTRACT

Neural networks (NNs) often assign high confidence to their predictions, even for points far out-of-distribution, making uncertainty quantification (UQ) a challenge. When they are employed to model interatomic potentials in materials systems, this problem leads to unphysical structures that disrupt simulations, or to biased statistics and dynamics that do not reflect the true physics. Differentiable UQ techniques can find new informative data and drive active learning loops for robust potentials. However, a variety of UQ techniques, including newly developed ones, exist for atomistic simulations and there are no clear guidelines for which are most effective or suitable for a given case. In this work, we examine multiple UQ schemes for improving the robustness of NN interatomic potentials (NNIPs) through active learning. In particular, we compare incumbent ensemble-based methods against strategies that use single, deterministic NNs: mean-variance estimation, deep evidential regression, and Gaussian mixture models. We explore three datasets ranging from in-domain interpolative learning to more extrapolative out-of-domain generalization challenges: rMD17, ammonia inversion, and bulk silica glass. Performance is measured across multiple metrics relating model error to uncertainty. Our experiments show that none of the methods consistently outperformed each other across the various metrics. Ensembling remained better at generalization and for NNIP robustness; MVE only proved effective for in-domain interpolation, while GMM was better out-of-domain; and evidential regression, despite its promise, was not the preferable alternative in any of the cases. More broadly, cost-effective, single deterministic models cannot yet consistently match or outperform ensembling for uncertainty quantification in NNIPs.

研究の動機と目的

• 単一モデルの不確実性評価（UQ）手法が、ロバストなニューラルネットワーク原子間ポテンシャル（NNIP）の訓練において、ニューラルネットワーク集合を上回る可能性があるかどうかを評価すること。
• 平均・分散推定、ディープ証拠回帰、ガウス・ミクスチャ・モデルといったさまざまなUQ技術の、異なるデータ領域（ドメイン内補間とドメイン外一般化）における有効性を評価すること。
• 不確実性評価が物理的に非現実的な構造や偏ったダイナミクスを回避するために不可欠である原子的シミュレーションにおける活性学習において、単一の決定的NNがUQ機能を備えていれば十分にロバストであるかを検証すること。
• 計算コストの高い集合ベース手法と比較して、有望な単一モデルUQアプローチの限界を特定すること。

提案手法

• 本研究では、3つのベンチマークデータセットを用いる：rMD17（ドメイン内補間）、アンモニア反転（中程度の外挿）、バルクケイ酸ガラス（顕著な外挿一般化）。
• 各データセットに対して、平均・分散推定（MVE）、ディープ証拠回帰、ガウス・ミクスチャ・モデル（GMM）、ニューラルネットワーク集合のUQ手法を適用する。
• モデルの誤差と予測された不確実性の相関関係を評価する指標を用い、敵対的サンプリングを組み合わせてドメイン外性能を検証する。
• UQスコアを用いてデータ取得を誘導する活性学習ループを実装し、各手法がどれだけ効果的に情報量の多い高誤差領域を特定できるかを測定する。
• GMMアプローチは、訓練済みNNの潜在空間表現を用いて、トレーニング後に混合モデルをフィッティングすることで、アーキテクチャの変更なしに不確実性推定を実現する。
• ディープ証拠回帰は、予測出力のディリクレ分布を用いて不確実性をモデル化し、適切なスコアルールを用いてエンドツーエンドで最適化する。

Figure 1: Illustration of the uncertainty quantification (UQ) methods used. $x$ denotes the input to the neural networks (NNs), while $y$ is the predicted property. In the case of NNIPs, $x$ generally represents the positions and atomic numbers of the input structure, whereas $y$ is the energy and/o

実験結果

リサーチクエスチョン

• RQ1 平均・分散推定、ディープ証拠回帰、ガウス・ミクスチャ・モデルといった単一モデルUQ手法が、NNIPの不確実性評価において、ニューラルネットワーク集合を一貫して上回ることができるか。
• RQ2 異なる分布シフトの度合い（ドメイン内補間から顕著な外挿一般化まで）において、さまざまなUQ手法はどのように性能を発揮するか。
• RQ3 UQ機能を備えた単一の決定的NNが、原子的シミュレーションにおける活性学習ループで集合手法と同等のロバスト性を達成できるか。
• RQ4 ディープ証拠回帰の数値的安定性と一般化能力が、NNIP訓練における集合手法の代替手段として実用的であるか。
• RQ5 特にケイ酸ガラスのような挑戦的な系において、UQ手法がドメイン外フレームの不確実性をどれほどうまくランク付けできるか。

主な発見

• ニューラルネットワーク集合は、すべてのデータセットと評価指標において、一貫してすべての単一モデルUQ手法を上回った。特に活性学習における一般化性とロバスト性の観点で顕著に優れていた。
• 平均・分散推定（MVE）はドメイン内補間タスクでのみ良好な性能を示し、ドメイン外の状態では一貫した高不確実性領域の特定に失敗した。
• ガウス・ミクスチャ・モデル（GMM）はドメイン外一般化において優れた性能を示し、特にケイ酸ガラスデータセットで顕著だったが、補間領域ではやや劣っていた。
• 理論的期待に満ちたディープ証拠回帰は、最適化過程で数値的不安定性を示し、いかなる指標やデータセットにおいても集合手法を上回ることはできなかった。
• どの単一モデルUQ手法に対しても、集合手法の一般化能力に匹敵するものは得られず、コスト効率の良い決定的モデルが、現在のところ一貫して集合手法に代わることはできないことが示された。
• 本研究では、敵対的サンプリングを用いたドメイン外フレームの同定においても、集合ベースのUQが最も信頼性が高く、計算コストが高額であるにもかかわらず、依然として最良の選択肢であると確認された。

Figure 2: (a) Hexbin plots showing (predicted) uncertainties versus squared errors of atomic forces in all molecules of all 5-fold test sets from the rMD17 data set for each considered UQ method. Note that since the uncertainties (-NLL) for the GMM method contain negative values, all uncertainties a