[논문 리뷰] Uncertainty Quantification in Machine Learning for Engineering Design and Health Prognostics: A Tutorial

Venkat Pavan Nemani, Luca Biggio외 7명|arXiv (Cornell University)|2023. 05. 07.

Probabilistic and Robust Engineering Design참고 문헌 371인용 수 8

한 줄 요약

이 논문은 ML에서 불확실성 정량화(UQ) 방법을 조사하고, 신경망에 초점을 맞추며, 배터리 수명 예측과 터보팬 잔여 유용 수명에 대한 두 가지 사례 연구를 보여준다.

ABSTRACT

On top of machine learning models, uncertainty quantification (UQ) functions as an essential layer of safety assurance that could lead to more principled decision making by enabling sound risk assessment and management. The safety and reliability improvement of ML models empowered by UQ has the potential to significantly facilitate the broad adoption of ML solutions in high-stakes decision settings, such as healthcare, manufacturing, and aviation, to name a few. In this tutorial, we aim to provide a holistic lens on emerging UQ methods for ML models with a particular focus on neural networks and the applications of these UQ methods in tackling engineering design as well as prognostics and health management problems. Toward this goal, we start with a comprehensive classification of uncertainty types, sources, and causes pertaining to UQ of ML models. Next, we provide a tutorial-style description of several state-of-the-art UQ methods: Gaussian process regression, Bayesian neural network, neural network ensemble, and deterministic UQ methods focusing on spectral-normalized neural Gaussian process. Established upon the mathematical formulations, we subsequently examine the soundness of these UQ methods quantitatively and qualitatively (by a toy regression example) to examine their strengths and shortcomings from different dimensions. Then, we review quantitative metrics commonly used to assess the quality of predictive uncertainty in classification and regression problems. Afterward, we discuss the increasingly important role of UQ of ML models in solving challenging problems in engineering design and health prognostics. Two case studies with source codes available on GitHub are used to demonstrate these UQ methods and compare their performance in the life prediction of lithium-ion batteries at the early stage and the remaining useful life prediction of turbofan engines.

연구 동기 및 목표

• 공학 맥락에서 ML 모델의 불확실성 유형, 원인 및 근원을 분류한다.
• 신경망에 적용 가능한 최신 UQ 방법을 제시한다.
• 예제와 토론을 통해 UQ 방법의 타당성을 평가한다.
• 사례 연구와 이용 가능한 소스 코드로 공학 설계 및 건강 예 prognostics에서의 실용적 적용을 보여준다.

제안 방법

• 가우시안 프로세스 회귀, 베이지안 신경망, 신경망 앙상블, 결정론적 UQ 방법(분광 정규화 신경 가우시안 프로세스)을 설명하고 비교한다.
• UQ 방법을 뒷받침하기 위한 수학적 형식을 제시한다.
• 장난감 회귀 예제를 통해 UQ 접근법의 강점과 한계를 분석한다.
• 분류 및 회귀에서 예측 불확실성을 평가하기 위한 정량적 지표를 검토한다.
• 두 가지 사례 연구와 GitHub 소스 코드를 통해 공학 설계 및 건강 예 prognostics에서의 UQ의 역할을 논의한다.

실험 결과

연구 질문

• RQ1 공학 설계 및 건강 예 prognostics와 관련된 ML 모델의 불확실성의 유형, 원인 및 기원은 무엇인가?
• RQ2 가우시안 프로세스, 베이지안 신경망, 앙상블, 그리고 결정론적 UQ 방법은 불확실성 품질과 견고성 면에서 어떻게 비교되나요?
• RQ3 고위험 도메인에서 분류 및 회귀 작업에 대한 예측 불확실성을 가장 잘 포착하는 지표는 무엇인가?
• RQ4 사례 연구를 통해 시현된 바와 같이 UQ 방법을 실제 PHM 및 설계 문제에 어떻게 효과적으로 적용할 수 있는가?

주요 결과

• 이 자습서는 주요 UQ 방법의 수학적 기초와 실용적 강점과 한계를 체계적으로 검토한다.
• 정량적 및 정성적 평가를 통해 다양한 조건에서 서로 다른 UQ 접근법이 어떻게 작동하는지 보여준다.
• 두 가지 적용 사례 연구는 리튬이온 배터리의 잔존 수명 예측과 터보팬 엔진의 잔여 유효 수명에 대한 UQ 방법을 보여준다.
• 사례 연구의 소스 코드는 재현 및 비교를 가능하게 하기 위해 GitHub에 제공된다.