[論文レビュー] Uncertainty Quantification in Machine Learning for Engineering Design and Health Prognostics: A Tutorial

Venkat Pavan Nemani, Luca Biggio+7 more|arXiv (Cornell University)|May 7, 2023

Probabilistic and Robust Engineering Design参考文献 371被引用数 8

ひとこと要約

この論文は機械学習の不確実性定量化（UQ）手法を網羅的に検討し、ニューラルネットワークに焦点を当て、電池寿命予測とファン型ターボエンジンの残存有用寿命という二つのケーススタディを実証します。

ABSTRACT

On top of machine learning models, uncertainty quantification (UQ) functions as an essential layer of safety assurance that could lead to more principled decision making by enabling sound risk assessment and management. The safety and reliability improvement of ML models empowered by UQ has the potential to significantly facilitate the broad adoption of ML solutions in high-stakes decision settings, such as healthcare, manufacturing, and aviation, to name a few. In this tutorial, we aim to provide a holistic lens on emerging UQ methods for ML models with a particular focus on neural networks and the applications of these UQ methods in tackling engineering design as well as prognostics and health management problems. Toward this goal, we start with a comprehensive classification of uncertainty types, sources, and causes pertaining to UQ of ML models. Next, we provide a tutorial-style description of several state-of-the-art UQ methods: Gaussian process regression, Bayesian neural network, neural network ensemble, and deterministic UQ methods focusing on spectral-normalized neural Gaussian process. Established upon the mathematical formulations, we subsequently examine the soundness of these UQ methods quantitatively and qualitatively (by a toy regression example) to examine their strengths and shortcomings from different dimensions. Then, we review quantitative metrics commonly used to assess the quality of predictive uncertainty in classification and regression problems. Afterward, we discuss the increasingly important role of UQ of ML models in solving challenging problems in engineering design and health prognostics. Two case studies with source codes available on GitHub are used to demonstrate these UQ methods and compare their performance in the life prediction of lithium-ion batteries at the early stage and the remaining useful life prediction of turbofan engines.

研究の動機と目的

• エンジニアリング文脈における ML モデルの不確実性の種類・源・原因を分類する。
• ニューラルネットワークに適用可能な最先端の UQ 手法を提示する。
• 事例と議論を通じて UQ 手法の信頼性を評価する。
• ケーススタディと入手可能なソースコードを用いて、エンジニアリング設計と健康予知における実務的な適用を示す。

提案手法

• ガウス過程回帰、ベイズニューラルネットワーク、ニューラルネットワーク集合、決定論的 UQ 手法（スペクトル正規化ニューラルガウス過程）を説明・比較する。
• UQ 手法を支える数学的定式化を提示する。
• トイ Regression の例を用いて UQ アプローチの長所と限界を分析する。
• 分類と回帰における予測不確実性を評価する定量的指標をレビューする。
• 設計と健康予知における UQ の役割を、二つのケーススタディと GitHub ソースコードで論じる。

実験結果

リサーチクエスチョン

• RQ1 エンジニアリング設計と健康 prognostics に関連する ML モデルの不確実性の種類・源・原因は何か。
• RQ2 ガウス過程、ベイズニューラルネットワーク、アンサンブル、および決定論的 UQ 手法は、不確実性の質と頑健性の観点でどう比較されるか。
• RQ3 高リスク領域における分類・回帰タスクの予測不確実性を最もよく捉える指標は何か。
• RQ4 ケーススタディによって実証されたように、UQ 手法を現実の PHM・設計問題に効果的に適用するにはどうすればよいか。

主な発見

• チュートリアルは主要な UQ 手法の数学的基盤と実践上の長所・短所を体系的に検討する。
• 定量的・定性的評価は、異なる条件下での各 UQ アプローチの挙動を示す。
• 二つの実用的なケーススタディは、リチウムイオン電池の寿命予測とターボファンエンジンの残存有用寿命に対する UQ 手法を示す。
• ケーススタディのソースコードは GitHub に提供され、再現性と比較を可能にする。