[論文レビュー] Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks

Longze Li, Jiang Chang+4 more|arXiv (Cornell University)|Nov 4, 2023

Machine Learning in Materials Science参考文献 54被引用数 4

ひとこと要約

本論文は、鋼鉄合金のクリープ破壊寿命を含む多変数回帰における不確実性評価（UQ）のための物理則を組み込んだベイジアンニューラルネットワーク（BNN）フレームワークを提案する。マーカフ連鎖モンテカルロ（MCMC）を用いた事後分布近似により、物理法則をBNNに統合することで、変分推論やガウス過程回帰よりも信頼性の高い不確実性推定が達成され、3つのクリープ試験データセットを用いた実験的妥当性評価により、競争力あるか、あるいはそれ以上の性能を示した。

ABSTRACT

With the increased use of data-driven approaches and machine learning-based methods in material science, the importance of reliable uncertainty quantification (UQ) of the predicted variables for informed decision-making cannot be overstated. UQ in material property prediction poses unique challenges, including the multi-scale and multi-physics nature of advanced materials, intricate interactions between numerous factors, limited availability of large curated datasets for model training, etc. Recently, Bayesian Neural Networks (BNNs) have emerged as a promising approach for UQ, offering a probabilistic framework for capturing uncertainties within neural networks. In this work, we introduce an approach for UQ within physics-informed BNNs, which integrates knowledge from governing laws in material modeling to guide the models toward physically consistent predictions. To evaluate the effectiveness of this approach, we present case studies for predicting the creep rupture life of steel alloys. Experimental validation with three datasets of collected measurements from creep tests demonstrates the ability of BNNs to produce accurate point and uncertainty estimates that are competitive or exceed the performance of the conventional method of Gaussian Process Regression. Similarly, we evaluated the suitability of BNNs for UQ in an active learning application and reported competitive performance. The most promising framework for creep life prediction is BNNs based on Markov Chain Monte Carlo approximation of the posterior distribution of network parameters, as it provided more reliable results in comparison to BNNs based on variational inference approximation or related NNs with probabilistic outputs. The codes are available at: https://github.com/avakanski/Creep-uncertainty-quantification.

研究の動機と目的

• 限られたデータと複雑なマルチスケール相互作用のため、材料特性予測における信頼性の高い不確実性評価（UQ）の課題に対処すること。
• 材料モデリングからの物理法則をベイジアンニューラルネットワークに統合し、より優れた予測の一貫性と信頼性を実現すること。
• 異なるBNN推論手法（特にMCMCと変分推論）の性能を、多変数回帰タスクにおける不確実性評価の観点から比較すること。
• 実験データセットを用いた実世界のクリープ破壊寿命予測とアクティブラーニングの応用を通じて、フレームワークの有効性を示すこと。

提案手法

• 本フレームワークは、ネットワークパラメータ上の確率的重み分布を用いて、予測の平均値と不確実性をモデル化するベイジアンニューラルネットワーク（BNN）を採用する。
• 材料科学における支配的法則からの物理的制約を、BNNアーキテクチャに埋め込むことで、予測が物理的に整合的であることを保証する。
• 2つの推論戦略を比較する：正確な事後分布近似のためのマーカフ連鎖モンテカルロ（MCMC）と、高速な近似推論のための変分推論。
• モデルは、鋼鉄合金の3つの実験的クリープ試験データセット上で訓練され、不確実性推定は真値測定値と照合された。
• 確率的出力を用いて予測分布を生成し、不確実性評価のための点推定値と信用区間を可能にする。
• アクティブラーニングは、不確実性推定値を用いてデータ取得をガイドする。これにより、データが限られた状況下でのフレームワークの有効性が示された。

実験結果

リサーチクエスチョン

• RQ1 物理則を組み込んだベイジアンニューラルネットワークは、従来の手法に比べて、多変数材料特性予測におけるより信頼性の高い不確実性推定を提供できるか？
• RQ2 材料特性データにおいて、BNNのMCMCベースの事後分布近似は、変分推論に比べて、予測精度と不確実性のキャリブレーションの観点で優れているか？
• RQ3 BNNに物理法則を統合することで、データが限られた材料科学の応用において、予測の一貫性と信頼性がどの程度向上するか？
• RQ4 提案されたBNNフレームワークは、不確実性推定を用いて情報量の多いデータポイントを特定することで、アクティブラーニングを効果的に支援できるか？

主な発見

• MCMCベースのBNNフレームワークは、変分推論ベースのBNNや確率的出力を備えた標準的なニューラルネットワークに比べ、より信頼性の高い不確実性推定を達成した。
• 3つの独立したクリープ試験データセットにおいて、MCMC-BNNは、UQのベンチマーク手法であるガウス過程回帰と同等またはそれ以上の予測性能を示した。
• BNNアーキテクチャへの物理法則の統合により、予測の一貫性が著しく向上し、物理的にあり得ない出力が大幅に減少した。
• アクティブラーニングの応用において、MCMC-BNNの不確実性推定値は、効果的にデータ選択をガイドした。これは、データ効率の良いモデル学習におけるフレームワークの有用性を示した。
• MCMC推論を用いたBNNは、予測区間が真の値をより高い割合でカバーするという点で、他の手法に比べて優れた不確実性区間のキャリブレーションを示した。
• フレームワークのコードは公開されており、再現性が保たれるとともに、他の材料特性予測タスクへの応用や拡張が可能である。