[論文レビュー] Recalibration of Aleatoric and Epistemic Regression Uncertainty in Medical Imaging

Max-Heinrich Laves, Sontje Ihler+3 more|arXiv (Cornell University)|Apr 26, 2021

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文は、モンテカルロドロップアウトを用いて医療画像の深層回帰モデルにおけるアレアトリックおよびエピステミック不確実性を再キャリブレーションするシンプルで効果的な手法、$σ$スケーリングを提案する。$σ$スケーリングにより、不確実性の不整合（Uncalibrated Uncertainty Error: UCE）が顕著に低減される一方で、予測精度は維持され、信頼性の高い分布外検出および不確実性に基づく信頼性の低い予測の除外が可能になる。

ABSTRACT

The consideration of predictive uncertainty in medical imaging with deep learning is of utmost importance. We apply estimation of both aleatoric and epistemic uncertainty by variational Bayesian inference with Monte Carlo dropout to regression tasks and show that predictive uncertainty is systematically underestimated. We apply $ \\sigma $ scaling with a single scalar value; a simple, yet effective calibration method for both types of uncertainty. The performance of our approach is evaluated on a variety of common medical regression data sets using different state-of-the-art convolutional network architectures. In our experiments, $ \\sigma $ scaling is able to reliably recalibrate predictive uncertainty. It is easy to implement and maintains the accuracy. Well-calibrated uncertainty in regression allows robust rejection of unreliable predictions or detection of out-of-distribution samples. Our source code is available at https://github.com/mlaves/well-calibrated-regression-uncertainty

研究の動機と目的

• 医療画像のための深層学習モデルにおける予測不確実性の不整合という広範な問題に対処すること。
• 医療で一般的な低データ環境において、臨床意思決定のための不確実性推定の信頼性を向上させること。
• モデルの精度を損なわず、不確実性の信頼性を高めるシンプルで効果的なキャリブレーション手法を開発すること。
• 良好にキャリブレートされた不確実性を通じて、分布外サンプルの強固な検出と信頼性の低い予測の除外を可能にすること。
• 分布シフト下での性能を比較するため、$σ$スケーリングをより複雑なキャリブレーション手法およびディープアンサンブルと比較すること。

提案手法

• 著者らは、回帰タスクにおけるアレアトリックおよびエピステミック不確実性の推定に、モンテカルロドロップアウトを用いた変分ベイジアン推論を用いる。
• 予測不確実性を再キャリブレーションするために、単一のスカラー倍数である$σ$スケーリングを適用する。これにより、実際のモデル誤差との整合性が向上する。
• 不確実性キャリブレーション誤差（UCE）を最小化する閉形式解を用いて、別個の検証セット上でキャリブレーションを実施する。
• 本手法は、EfficientNet-B4およびDenseNet-201を含む複数の医療画像データセットおよび最先端のCNNアーキテクチャで評価される。
• 不確実性キャリブレーションおよび分布外検出に関して、補助モデルスケーリング（aux scaling）およびディープアンサンブルと比較される。
• 不確実性に基づく除外は、閾値$Σ_{\text{max}}^{2}$を設定し、この値を超える不確実性を持つ予測を除外することで実施される。

実験結果

リサーチクエスチョン

• RQ1 予測精度を低下させることなく、$σ$スケーリングは医療画像回帰におけるアレアトリックおよびエピステミック不確実性の両方を効果的に再キャリブレーションできるか？
• RQ2 $σ$スケーリングは、aux scaling やディープアンサンブルといったより複雑なキャリブレーション手法と比較して、不確実性キャリブレーションおよび分布シフト下でのロバストネスにおいてどのように異なるか？
• RQ3 モンテカルロドロップアウトからの良好にキャリブレートされた不確実性は、分布外サンプルの検出および不確実な予測の信頼性のある除外にどの程度有効か？
• RQ4 データシフトの深刻さが変化する状況下で、$σ$スケーリングの性能は低下するか、向上するか。また、このような状況下でディープアンサンブルと比較してどうなるか？
• RQ5 $σ$スケーリングは、もともと良好にキャリブレートされたモデルに対しても有効であるか、それとも不確実性が不整合なモデルにのみ効果を発揮するのか？

主な発見

• すべての評価対象データセットおよびアーキテクチャにおいて、$σ$スケーリングにより不確実性の不整合が顕著に低減され、Uncalibrated Uncertainty Error（UCE）が大幅に減少することが示された。
• $σ$スケーリング後、99%の事後予測区間が、約99%の真の値を含むことが確認され、予測区間の良好なキャリブレーションが示された。
• 予測精度は維持されている。$σ$スケーリングは予測された平均$ˆ{\bm{y}}$を変更しないため、性能の低下がない。
• 不確実性に基づく除外に関して、$σ$-スケーリングされた不確実性は、拒否閾値が上昇するにつれて平均二乗誤差（MSE）が単調に減少するのに対し、ディープアンサンブルでは初期にMSEが増加する傾向を示した。
• 中程度の分布シフト下では、$σ$-スケーリングされたMCドロップアウトはディープアンサンブルと同等の性能を示したが、重度のシフト下ではアンサンブルがより感受性を示した一方、$σ$-スケーリングモデルはわずかに不確実性が増加するにとどまった。
• 最小のデータセット（BreastPathQ）では、aux scalingが予測区間カバレッジにおいて$σ$スケーリングをわずかに上回ったが、UCEでは同様の結果であった。これは、$σ$スケーリングが全体的によりロバストであることを示唆している。