[論文レビュー] On Calibrated Model Uncertainty in Deep Learning

Biraja Ghoshal, Allan Tucker|arXiv (Cornell University)|Jun 15, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、深層学習におけるモデルの不確実性のキャリブレーションを向上させるために、ドロップウェイトを用いた損失キャリブレート型ベイジアンニューラルネットワークを提案する。事後分布上の期待効用を最大化することで、特にCovid-19のX線画像診断における誤った陰性結果（偽陰性）の減少を実現し、高い精度を維持するとともに、1.91の最大不確実性キャリブレーション誤差（MUCE）を達成し、標準モデルを著しく上回る性能を示した。

ABSTRACT

Estimated uncertainty by approximate posteriors in Bayesian neural networks are prone to miscalibration, which leads to overconfident predictions in critical tasks that have a clear asymmetric cost or significant losses. Here, we extend the approximate inference for the loss-calibrated Bayesian framework to dropweights based Bayesian neural networks by maximising expected utility over a model posterior to calibrate uncertainty in deep learning. Furthermore, we show that decisions informed by loss-calibrated uncertainty can improve diagnostic performance to a greater extent than straightforward alternatives. We propose Maximum Uncertainty Calibration Error (MUCE) as a metric to measure calibrated confidence, in addition to its prediction especially for high-risk applications, where the goal is to minimise the worst-case deviation between error and estimated uncertainty. In experiments, we show the correlation between error in prediction and estimated uncertainty by interpreting Wasserstein distance as the accuracy of prediction. We evaluated the effectiveness of our approach to detecting Covid-19 from X-Ray images. Experimental results show that our method reduces miscalibration considerably, without impacting the models accuracy and improves reliability of computer-based diagnostics.

研究の動機と目的

• ベイジアンニューラルネットワークにおけるキャリブレーションの不備、特に医療診断のような高リスクな応用分野において、推定された不確実性と実際の予測誤差が一致しない問題に対処すること。
• 特に疾患検出における高コストな偽陰性を最小限に抑えるために、タスク固有の非対称な効用関数を組み込むことで、深層学習における意思決定の信頼性を向上させること。
• モデルの精度を維持しつつ、予測における過信を低減するキャリブレーションされた不確実性推定手法を開発すること。
• 実世界の医療画像、特にX線画像からのCovid-19検出を対象として、損失キャリブレート型不確実性の有効性を評価すること。
• 高リスクな予測タスクにおける信頼性のある自信の測定に適した、最大不確実性キャリブレーション誤差（MUCE）という新しい指標を導入・検証すること。

提案手法

• 損失キャリブレート型ベイジアンフレームワークにおける近似推論を、ドロップウェイトに基づくベイジアンニューラルネットワークへ拡張し、効用駆動型事後分布近似による不確実性キャリブレーションを実現する。
• 標準的な証拠下限界（ELBO）損失に、タスク固有の効用関数を組み込んだ新しいペナルティ項を導入し、確率的最適化を正則化する。
• モンテカルロドロップアウト（MC-Dropweights）を用いて、ネットワーク重みの事後分布を近似し、学習時および推論時における不確実性推定を可能にする。
• 2段階のプロセスを採用：まず事後分布 $ q(\theta|D) $ を近似し、次に事後分布上の期待効用を最適化して事後リスクを最小化する。
• 不確実性推定と予測誤差の相関を測定する指標として、ワサースタイン距離を用い、キャリブレーションの不備を評価する。
• 最大不確実性キャリブレーション誤差（MUCE）を提案し、高リスク意思決定における推定不確実性と実際の誤差の最悪事態での乖離を定量化する。

実験結果

リサーチクエスチョン

• RQ1 損失キャリブレート型ベイジアンニューラルネットワークにドロップウェイトを適用することで、特に医療画像分野の深層学習モデルにおけるキャリブレーションの不備を軽減できるか？
• RQ2 タスク固有の効用関数を組み込むことで、非対称な誤分類コストを持つモデルにおける不確実性キャリブレーションと意思決定信頼性はどのように向上するか？
• RQ3 提案手法は、標準モデルと比較して、X線画像からのCovid-19検出における偽陰性予測をどの程度低減できるか？
• RQ4 提案された最大不確実性キャリブレーション誤差（MUCE）指標は、実際の予測誤差およびモデル信頼性とどの程度相関しているか？
• RQ5 損失キャリブレートアプローチは、不確実性キャリブレーションの不備を著しく低減する一方で、モデルの精度を維持または向上させるか？

主な発見

• MC-Dropweightsを用いた損失キャリブレート型BNNは、1.91のMUCEを達成し、標準BNN（3.77）および重み付き交差エントロピーモデル（5.42）を著しく下回り、優れた不確実性キャリブレーションを示した。
• 期待キャリブレーション誤差（ECE）は7.01にまで低下し、標準BNNの13.27と比較して、自信のキャリブレーションが向上したことを示した。
• 精度は80.88%に向上し、標準BNN（70.12%）および重み付き交差エントロピー（74.09%）モデルを上回った。
• ワサースタイン距離による測定で、推定不確実性と予測誤差の間に強い相関が確認され、キャリブレーションの不備が低減していることが示された。
• 信頼性図では、損失キャリブレート型モデルの自信と不確実性推定値が、特に高リスクな予測バインに実際の精度とよく一致しており、良好な整合性を示した。
• 本手法は、Covid-19患者を「正常」と誤って分類するという一般的な失敗モードを効果的に低減し、臨床意思決定支援における安全性の向上を示した。