[논문 리뷰] Bayesian Modelling in Practice: Using Uncertainty to Improve Trustworthiness in Medical Applications

David Ruhe, Giovanni Cinà외 3명|arXiv (Cornell University)|2019. 06. 20.

Machine Learning in Healthcare참고 문헌 17인용 수 4

한 줄 요약

이 논문은 예측 불확실성을 정량화하여 의료 기계 학습의 신뢰성을 높이기 위해 심장 관리실(ICU)에서 베이지안 신경망(BNNs)을 사용할 것을 제안한다. 예측 손실에 대한 분석적 경계를 유도하고 MIMIC-III 데이터셋에 BNN을 적용함으로써, 저자들은 불확실성이 도메인 외 환자—예를 들어 신생아 및 소수 민족 집단—를 신뢰성 있게 식별함을 보여주었으며, 이로 인해 각각 230%와 130% 증가한 불확실성으로 인해 오류 결정의 위험이 감소한다.

ABSTRACT

The Intensive Care Unit (ICU) is a hospital department where machine learning has the potential to provide valuable assistance in clinical decision making. Classical machine learning models usually only provide point-estimates and no uncertainty of predictions. In practice, uncertain predictions should be presented to doctors with extra care in order to prevent potentially catastrophic treatment decisions. In this work we show how Bayesian modelling and the predictive uncertainty that it provides can be used to mitigate risk of misguided prediction and to detect out-of-domain examples in a medical setting. We derive analytically a bound on the prediction loss with respect to predictive uncertainty. The bound shows that uncertainty can mitigate loss. Furthermore, we apply a Bayesian Neural Network to the MIMIC-III dataset, predicting risk of mortality of ICU patients. Our empirical results show that uncertainty can indeed prevent potential errors and reliably identifies out-of-domain patients. These results suggest that Bayesian predictive uncertainty can greatly improve trustworthiness of machine learning models in high-risk settings such as the ICU.

연구 동기 및 목표

• 예측 불확실성을 통합함으로써 고위험 심장 관리실 환경에서 기계 학습의 신뢰성을 향상시키기 위해.
• 결정론적 모델에서 분포 외 예측으로 인한 치명적인 오류 위험을 해결하기 위해.
• 베이지안 불확실성이 희귀하거나 알려지지 않은 증상 및 생체 신호 조합을 가진 환자를 감지할 수 있음을 보여주기 위해.
• 불확실성과 예측 손실 간의 이론적 경계를 제시하여 불확실성이 위험을 완화함을 보여주기 위해.
• 실제 심장 관리실 데이터를 사용하여 BNN을 베이즈-백프로프로 평가하고, 결정론적 모델과의 성능 비교를 수행하기 위해.

제안 방법

• 저자들은 변분 추론을 사용하여 모델 가중치에 대한 진정한 사후분포를 근사함으로써 불확실성 정량화를 가능하게 하는 베이지안 신경망(BNNs)을 사용한다.
• 예측 불확실성에 따라 교차 엔트로피 손실에 대한 분석적 경계를 도출하여, 높은 불확실성이 높은 손실 예측의 위험 감소와 관련이 있음을 보여준다.
• 베이즈-백프로를 사용하여 가중치에 대한 사후분포를 직접 추정함으로써, MC 드롭아웃에서와 같이 드롭아웃 비율의 하이퍼파라미터 튜닝이 필요 없어진다.
• 모델은 임상 및 검사 데이터를 사용하여 심장 관리실 환자 사망 예측을 위해 MIMIC-III 데이터셋에서 훈련된다.
• 도메인 외 탐지 평가는 훈련에서 제외된 신생아 및 소수 민족 집단을 대상으로 테스트하여 불확실성 증가를 측정함으로써 평가된다.
• 성능은 결정론적 랜덤 포레스트 모델과 비교되며, 예측 신뢰도 수준에 따라 누적 손실과 불확실성 추세가 분석된다.

실험 결과

연구 질문

• RQ1 베이지안 신경망에서 유도된 예측 불확실성은 심장 관리실 사망 예측에서 손실을 제한하고 감소시킬 수 있는가?
• RQ2 BNN은 예를 들어 신생아나 소수 민족 집단과 같은 도메인 외 환자를 불확실성 증가를 통해 얼마나 잘 감지할 수 있는가?
• RQ3 베이즈-백프로의 사용은 임상 딥 러닝 환경에서 MC 드롭아웃보다 더 신뢰할 수 있는 불확실성 추정을 제공하는가?
• RQ4 실제 심장 관리실 데이터에서 예측 불확실성과 고손실 오류 위험 간에 측정 가능한 관계가 존재하는가?
• RQ5 희귀하거나 새로운 환자 프로파일을 경고함으로써 BNN은 임상 의사 결정 지원에서 안전 장치로 기능할 수 있는가?

주요 결과

• 이론적 경계는 예측 불확실성이 손실을 완화시킬 수 있음을 보여주며, 높은 불확실성이 높은 손실 오류의 위험 감소와 관련이 있음을 나타낸다.
• MIMIC-III 데이터셋에서, 테스트 세트의 예측 손실은 불확실성이 증가함에 따라 초선형적으로 증가하였으며, 이는 불확실성이 위험 감소와 관련이 있음을 확인한다.
• 신생아 환자에게 노출되었을 때 BNN은 평균적으로 예측 불확실성을 230% 증가시켜 도메인 외 사례를 감지함을 나타낸다.
• 소수 민족 집단에 대해 BNN은 불확실성을 평균 130% 증가시켰으며(p < .0001), 이는 희귀한 환자 프로파일을 효과적으로 감지함을 보여준다.
• 불확실성 캘리브레이션 측면에서 BNN은 결정론적 랜덤 포레스트보다 우수했으며, 불확실성이 신뢰할 수 없는 예측을 신호로 잘 전달했다.
• 결과는 BNN이 정확도가 비베이지안 모델보다 略로 낮을지라도 분류를 위한 것이 아니라 주로 불확실성 출력을 통해 안전 장치로 활용될 수 있음을 시사한다.