[論文レビュー] Uncertainty Quantification in Computer-Aided Diagnosis: Make Your Model say "I don't know" for Ambiguous Cases

Max-Heinrich Laves, Sontje Ihler+1 more|arXiv (Cornell University)|Aug 2, 2019

Retinal Imaging and Analysis参考文献 8被引用数 4

ひとこと要約

本稿では、モンテカルロドロップアウト（ベイジアンResNet）と変分推論（変分ResNet）を用いて、深層学習ベースの画像診断に不確実性評価を統合する手法を提案する。両手法とも誤診断の際には不確実性が著しく上昇し、誤分類された光学コherenceトモグラフィー（OCT）スキャンでは平均不確実性が4.6〜8.7倍に上昇した。不確実性推定が診断の信頼性と患者の安全性を向上させることを示している。

ABSTRACT

We evaluate two different methods for the integration of prediction uncertainty into diagnostic image classifiers to increase patient safety in deep learning. In the first method, Monte Carlo sampling is applied with dropout at test time to get a posterior distribution of the class labels (Bayesian ResNet). The second method extends ResNet to a probabilistic approach by predicting the parameters of the posterior distribution and sampling the final result from it (Variational ResNet).The variance of the posterior is used as metric for uncertainty.Both methods are trained on a data set of optical coherence tomography scans showing four different retinal conditions. Our results shown that cases in which the classifier predicts incorrectly correlate with a higher uncertainty. Mean uncertainty of incorrectly diagnosed cases was between 4.6 and 8.1 times higher than mean uncertainty of correctly diagnosed cases. Modeling of the prediction uncertainty in computer-aided diagnosis with deep learning yields more reliable results and is anticipated to increase patient safety.

研究の動機と目的

• 誤診断のリスクを低減し、患者の安全性を向上させるために、深層学習ベースの診断モデルが不確実性を表現できるようにすること。
• 標準的な深層学習モデルでは、曖昧なケースに対して「分からない」と発言できないという不確実性評価の欠如に対処すること。
• 臨床的診断環境において、モンテカルロドロップアウトと変分推論の2つの不確実性評価手法を評価・比較すること。
• 光学コherenceトモグラフィー（OCT）を用いた網膜疾患分類において、不確実性と予測誤差との相関関係を評価すること。

提案手法

• テスト時におけるモンテカルロドロップアウトを適用し、ドロップアウト率p=0.5として、最終全結合層の直前に（bayesian1）または各ResNetブロックの直前に（bayesian2）適用することで、ベイジアン推論を近似する。
• 変分推論を用いて、ResNet-18が出力分布の平均μと分散σ²を予測できるように訓練し、再パrameterizationを用いて微分可能なサンプリングを実現する。
• 再パラメータライゼーションのトリックを採用：ŷ = μ + σε、ここでε ~ N(0, I)であり、勾配ベース最適化によるエンドツーエンド学習を可能にする。
• 交差エントロピーとカルバック・ライブラー発散（KLD）の両方を含む損失関数を最小化することで、事後分布を標準正規分布に正則化する。
• 84,484枚のOCTスキャン（4種類の網膜疾患）を用いて、3つの不確実性対応モデル（bayesian1, bayesian2, variational）と標準的なResNet-18ベースラインを学習・評価する。
• 予測の不確実性の指標として、事後分布の分散を用い、正しく分類されたケースと誤って分類されたケースの間で不確実性レベルを比較する。

実験結果

リサーチクエスチョン

• RQ1 テスト時ドロップアウトを用いたモンテカルロドロップアウトは、OCTスキャンの診断用深層学習モデルにおいて、信頼性のある不確実性推定を可能にするか？
• RQ2 学習可能な事後分布パラメータを有する変分推論は、標準モデルに比べて不確実性推定を改善するか？
• RQ3 高水準の予測不確実性と誤分類との間に有意な相関関係があるか？
• RQ4 ベイジアンおよび変分的手法による不確実性推定は、曖昧または誤診断されたケースを効果的に特定できるか？
• RQ5 不確実性評価の統合により、モデルが「分からない」と発言できるようになり、臨床的安全性が向上するか？

主な発見

• bayesian1手法を用いた場合、誤診断されたケースの平均不確実性は、正しく診断されたケースの8.7倍に上昇した。
• bayesian2では誤診断ケースの平均不確実性が6.0倍、変分アプローチでは4.6倍に上昇した。
• bayesian1は最高のテストセットF1スコア（0.96）を達成したが、bayesian2および変分手法はやや低い性能を示した。これは、複数のドロップアウト層と再パラメータライゼーションによるノイズ増加が要因とされる。
• すべての不確実性推定手法が、誤った予測に対して高い不確実性を出力しており、不確実性と予測誤差との強い相関関係を確認した。
• 不確実性評価の統合により、モデルの信頼性が著しく向上し、曖昧なケースを特定することで、臨床意思決定支援に貢献した。
• 結果から、不確実性対応モデルが、臨床医が高不確実性ケースを再評価できるようにすることで、患者の安全性を向上させられることを示した。