[논문 리뷰] Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks

Longze Li, Jiang Chang외 4명|arXiv (Cornell University)|2023. 11. 04.

Machine Learning in Materials Science참고 문헌 54인용 수 4

한 줄 요약

이 논문은 강철 합금의 피로 파손 수명과 같은 다변량 회귀에서 물성 예측의 불확실성 정량화(UQ)를 위한 물리법칙을 통합한 베이지안 신경망(BNN) 프레임워크를 제안한다. 마르코프 체인 몬테카를로(MCMC) 기반 사후 근사화를 통해 물리 법칙을 BNN에 통합함으로써, 변분 추론이나 가우시안 프로세스 회귀보다 더 신뢰할 수 있는 불확실성 추정을 달성하였으며, 세 개의 피로 시험 데이터셋에 대한 실험적 검증을 통해 경쟁력 있거나 우수한 성능을 보였다.

ABSTRACT

With the increased use of data-driven approaches and machine learning-based methods in material science, the importance of reliable uncertainty quantification (UQ) of the predicted variables for informed decision-making cannot be overstated. UQ in material property prediction poses unique challenges, including the multi-scale and multi-physics nature of advanced materials, intricate interactions between numerous factors, limited availability of large curated datasets for model training, etc. Recently, Bayesian Neural Networks (BNNs) have emerged as a promising approach for UQ, offering a probabilistic framework for capturing uncertainties within neural networks. In this work, we introduce an approach for UQ within physics-informed BNNs, which integrates knowledge from governing laws in material modeling to guide the models toward physically consistent predictions. To evaluate the effectiveness of this approach, we present case studies for predicting the creep rupture life of steel alloys. Experimental validation with three datasets of collected measurements from creep tests demonstrates the ability of BNNs to produce accurate point and uncertainty estimates that are competitive or exceed the performance of the conventional method of Gaussian Process Regression. Similarly, we evaluated the suitability of BNNs for UQ in an active learning application and reported competitive performance. The most promising framework for creep life prediction is BNNs based on Markov Chain Monte Carlo approximation of the posterior distribution of network parameters, as it provided more reliable results in comparison to BNNs based on variational inference approximation or related NNs with probabilistic outputs. The codes are available at: https://github.com/avakanski/Creep-uncertainty-quantification.

연구 동기 및 목표

• 제한된 데이터와 복잡한 다스케일 상호작용으로 인해 신뢰할 수 있는 불확실성 정량화(UQ)가 어려운 재료 성질 예측 문제를 해결하기 위해.
• 재료 모델링에서 유도된 물리 법칙을 베이지안 신경망에 통합하여 더 나은 예측 일관성과 신뢰도를 확보하기 위해.
• 다양한 BNN 추론 방법—특히 MCMC 대비 변분 추론—이 다변량 회귀 과제에서의 불확실성 정량화(UQ) 성능을 평가하기 위해.
• 실험 데이터셋을 사용한 실세계 피로 파손 수명 예측과 활성 학습에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 모델은 예측 평균과 불확실성을 동시에 모델링하기 위해 베이지안 신경망(BNNs)을 사용하며, 네트워크 파라미터에 대한 확률적 가중치 분포를 적용한다.
• 재료 과학에서의 지배 법칙에서 유도된 물리적 제약 조건을 BNN 아키텍처에 통합하여 예측의 물리적 일관성을 보장한다.
• 두 가지 추론 전략을 비교한다: 정확한 사후 근사화를 위한 마르코프 체인 몬테카를로(MCMC)와 빠른 근사 추론을 위한 변분 추론.
• 모델은 강철 합금의 세 개의 실험적 피로 시험 데이터셋을 기반으로 훈련되며, 예측 불확실성은 기준 측정값과 비교 평가된다.
• 확률적 출력을 사용하여 예측 분포를 생성함으로써, 점 추정치와 신뢰 구간을 동시에 제공하여 불확실성 정량화를 가능하게 한다.
• 불확실성 추정치를 활용한 활성 학습을 적용하여 데이터 수확을 이끌었으며, 데이터가 부족한 상황에서 프레임워크의 유용성을 입증했다.

실험 결과

연구 질문

• RQ1 물리법칙을 통합한 베이지안 신경망은 기존 방법보다 다변량 재료 성질 예측에서 더 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ2 재료 성질 데이터에 대해 BNN에서 MCMC 기반 사후 근사화가 변분 추론 대비 예측 정확도와 불확실성 캘리브레이션 측면에서 어떻게 성능을 내는가?
• RQ3 BNN에 물리 법칙을 통합할 경우, 데이터가 제한된 재료 과학 응용 분야에서 예측의 일관성과 신뢰도가 얼마나 향상되는가?
• RQ4 제안된 BNN 프레임워크는 불확실성 추정을 통해 정보가 풍부한 데이터 포인트를 식별함으로써 활성 학습을 효과적으로 지원할 수 있는가?

주요 결과

• MCMC 기반 BNN 프레임워크는 변분 추론 기반 BNN이나 확률적 출력을 갖는 표준 신경망보다 더 신뢰할 수 있는 불확실성 추정을 제공했다.
• 세 개의 독립적인 피로 시험 데이터셋에서 MCMC-BNN는 가우시안 프로세스 회귀(불확실성 정량화의 기준 방법)와 경쟁하거나 이를 초월하는 예측 성능을 달성했다.
• BNN 아키텍처에 물리 법칙을 통합함으로써 예측의 일관성이 크게 향상되었고, 물리적으로 비현실적인 출력이 감소했다.
• 활성 학습 응용에서 MCMC-BNN의 불확실성 추정치는 효과적으로 데이터 선택을 이끌었으며, 데이터 효율적인 모델 훈련에서의 유용성을 입증했다.
• MCMC 추론을 사용한 BNN은 불확실성 구간의 캘리브레이션에서 뛰어난 성능을 보였으며, 진정한 값이 포함된 예측 구간의 비율이 다른 방법보다 높았다.
• 프레임워크의 코드는 공개되어 있어 재현 가능하며, 다른 재료 성질 예측 과제로의 확장이 가능하다.