[논문 리뷰] Recalibration of Aleatoric and Epistemic Regression Uncertainty in Medical Imaging

Max-Heinrich Laves, Sontje Ihler외 3명|arXiv (Cornell University)|2021. 04. 26.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 몬테카를로 드롭아웃을 사용하여 의료 영상에서의 확률적 및 민감도 불확실성 재교정을 위한 단순하면서도 효과적인 방법인 $σ$ 스케일링을 제안한다. $σ$ 스케일링은 예측 불확실성의 잘못된 교정을 줄이며, 예측 정확도를 유지하면서도 불확실성 기반의 이상치 탐지 및 신뢰할 수 없는 예측의 거부를 가능하게 한다. 이는 불확실성 교정 오차(Uncalibrated Uncertainty Error, UCE)로 측정된 불확실성의 잘못된 교정을 크게 감소시킨다.

ABSTRACT

The consideration of predictive uncertainty in medical imaging with deep learning is of utmost importance. We apply estimation of both aleatoric and epistemic uncertainty by variational Bayesian inference with Monte Carlo dropout to regression tasks and show that predictive uncertainty is systematically underestimated. We apply $ \\sigma $ scaling with a single scalar value; a simple, yet effective calibration method for both types of uncertainty. The performance of our approach is evaluated on a variety of common medical regression data sets using different state-of-the-art convolutional network architectures. In our experiments, $ \\sigma $ scaling is able to reliably recalibrate predictive uncertainty. It is easy to implement and maintains the accuracy. Well-calibrated uncertainty in regression allows robust rejection of unreliable predictions or detection of out-of-distribution samples. Our source code is available at https://github.com/mlaves/well-calibrated-regression-uncertainty

연구 동기 및 목표

• 의료 영상에 대한 딥러닝 모델에서 널리 퍼져 있는 예측 불확실성의 잘못된 교정 문제를 해결하기 위해.
• 의료 분야에서 흔한 저데이터 환경에서 임상 의사결정 지원을 위한 불확실성 추정의 신뢰성을 향상시키기 위해.
• 예측 정확도를 유지하면서도 불확실성의 신뢰성을 향상시키는 단순하고 효과적인 교정 방법을 개발하기 위해.
• 잘 교정된 불확실성을 통해 분포 외 샘플의 강력한 탐지와 불확실성이 높은 예측의 거부를 가능하게 하기 위해.
• 분포 이탈 상황에서 $σ$ 스케일링의 성능을 더 복잡한 교정 방법과 깊은 앙상블과 비교하기 위해.

제안 방법

• 저자들은 확률적 추론과 몬테카를로 드롭아웃을 활용하여 회귀 과제에서 확률적 및 민감도 불확실성을 추정한다.
• 예측 불확실성을 재교정하기 위해 단일 스칼라 스케일링 인자인 $σ$ 스케일링을 적용한다. 이는 실제 모델 오차와의 일치도 향상시킨다.
• 불확실성 교정 오차(UCE)를 최소화하기 위해 닫힌 해를 사용하여 별도의 검증 세트에서 교정을 수행한다.
• 이 방법은 에이전시넷-B4와 덴스넷-201을 포함한 여러 의료 영상 데이터셋과 최신 컨볼루션 네트워크 아키텍처에서 평가된다.
• 불확실성 교정 및 분포 외 탐지에서 보조 모델 스케일링(aux scaling)과 깊은 앙상블과의 성능을 비교한다.
• 불확실성 기반 거부는 임계값 $Σ_{\text{max}}^{2}$를 설정하여 이 값 이상의 불확실성을 가진 예측을 거부함으로써 수행된다.

실험 결과

연구 질문

• RQ1 $σ$ 스케일링이 예측 정확도를 떨어뜨리지 않으면서도 의료 영상 회귀에서 확률적 및 민감도 불확실성을 효과적으로 재교정할 수 있는가?
• RQ2 분포 이탈 상황에서 $σ$ 스케일링이 보조 스케일링(aux scaling)과 깊은 앙상블과 비교해 불확실성 교정 및 강건성 측면에서 어떻게 성능을 내는가?
• RQ3 몬테카를로 드롭아웃에서 얻은 잘 교정된 불확실성은 얼마나 잘 분포 외 샘플을 탐지하고 불확실성이 높은 예측을 신뢰성 있게 거부할 수 있는가?
• RQ4 데이터 이탈의 심각도가 변화함에 따라 $σ$ 스케일링의 성능은 향상되거나 저하되는가? 이러한 상황에서 깊은 앙상블과 비교해 어떻게 되는가?
• RQ5 $σ$ 스케일링은 이미 잘 교정된 모델에서는 효과가 없고, 잘못 교정된 모델에서만 유의미한 성능 향상을 가져오는가?

주요 결과

• $σ$ 스케일링 방법은 모든 평가된 데이터셋과 아키텍처에서 불확실성 교정 오차(Uncalibrated Uncertainty Error, UCE)가 크게 감소함으로써 불확실성의 잘못된 교정을 크게 줄인다.
• $σ$ 스케일링 이후, 99%의 후행 예측 구간은 약 99%의 진짜값을 포함하며, 이는 예측 구간의 강력한 교정을 나타낸다.
• 예측 정확도를 유지한다. $σ$ 스케일링은 예측 평균 $ˆ{\bm{y}}$를 변경하지 않기 때문에 성능 저하가 없다.
• 불확실성 기반 거부의 경우, $σ$-스케일링된 불확실성은 거부 임계값이 증가함에 따라 평균 제곱오차(MSE)가 단조롭게 감소하는 반면, 깊은 앙상블은 처음에는 MSE가 증가하는 경향을 보인다.
• 중간 정도의 분포 이탈 상황에서 $σ$-스케일링된 몬테카를로 드롭아웃은 깊은 앙상블과 유사한 성능을 보이지만, 심각한 이탈 상황에서는 앙상블이 더 민감하게 반응하는 반면, $σ$-스케일링 모델은 불확실성이 약간만 증가하는 것으로 나타났다.
• 가장 작은 데이터셋(BreastPathQ)에서는 보조 스케일링(aux scaling)이 예측 구간 커버리지 측면에서 $σ$ 스케일링을 略로 뛰어넘지만, UCE 측면에선 그렇지 않아, $σ$ 스케일링이 전반적으로 더 강건함을 시사한다.