[論文レビュー] Estimating Uncertainty and Interpretability in Deep Learning for Coronavirus (COVID-19) Detection

Biraja Ghoshal, Allan Tucker|Brunel University Research Archive (BURA) (Brunel University London)|Mar 22, 2020

COVID-19 diagnosis using AI参考文献 14被引用数 348

ひとこと要約

本研究はMC DropweightsベースのベイズCNNを用いてCOVID-19胸部X線分類における予測不確実性を推定し、不確実性が精度と相関することを示し、不確実性を考慮した放射線科医へのリファーラルを可能にする。

ABSTRACT

Deep Learning has achieved state of the art performance in medical imaging. However, these methods for disease detection focus exclusively on improving the accuracy of classification or predictions without quantifying uncertainty in a decision. Knowing how much confidence there is in a computer-based medical diagnosis is essential for gaining clinicians trust in the technology and therefore improve treatment. Today, the 2019 Coronavirus (SARS-CoV-2) infections are a major healthcare challenge around the world. Detecting COVID-19 in X-ray images is crucial for diagnosis, assessment and treatment. However, diagnostic uncertainty in the report is a challenging and yet inevitable task for radiologist. In this paper, we investigate how drop-weights based Bayesian Convolutional Neural Networks (BCNN) can estimate uncertainty in Deep Learning solution to improve the diagnostic performance of the human-machine team using publicly available COVID-19 chest X-ray dataset and show that the uncertainty in prediction is highly correlates with accuracy of prediction. We believe that the availability of uncertainty-aware deep learning solution will enable a wider adoption of Artificial Intelligence (AI) in a clinical setting.

研究の動機と目的

• 深層学習による医用画像診断（COVID-19検出）の不確実性推定の必要性を動機づける。
• MC DropweightsベースのベイズCNNを評価して予測不確実性を定量化する。
• 予測不確実性と分類精度の関係を調査する。
• 人間と機械の協働診断を改善するための不確実性を考慮した意思決定リファーラルを評価する。

提案手法

• COVID-19 X線分類のために事前学習済みResNet50V2のバックボーンを用いた転移学習を適用する。
• 完全連結層にDropweightsを組み込み、ベイズ推定を近似しテスト時にMCサンプリングを可能にする。
• 複数の確率的順伝播（MCサンプル）を通じて予測平均と予測不確実性を計算し、PH（予測エントロピー）とBALDを取得する。
• 比較を容易にするために設定全体で不確実性を正規化する。
• ロスのクラスウェイトを用いた不確実性低減を強調するため非対称コスト（ユーティリティ）関数を使用する。
• 不確実性指標（PH vs BALD）を比較し、不確実性が予測誤差とどのように関連するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 MC DropweightsベースのベイズCNNはCOVID-19 X線分類に対して有意義な不確実性推定を提供できるか。
• RQ2 予測不確実性は分類精度と相関しており、リファーラルを通じて意思決定を改善できるか。
• RQ3 この文脈でどの不確実性指標（予測エントロピー vs BALD）がモデルの不確実性をより良く反映するか。
• RQ4 不確実性を考慮したリファーラルを組み合わせた場合、医師の放射線科診断と比較して全体的な信頼性が改善されるか。

主な発見

• ベイズResNet50V2は与えられたデータセットで標準のResNet50V2よりCOVID-19 X線検出精度を向上させる。
• 予測不確実性は誤予測で高くなる傾向があり、曖昧なケースを示すのに有用である。
• 予測エントロピーは予測誤差と非常に強い相関を示し（rho ≈ 0.99、試験されたDropweights全体で）。
• BALDも誤差と相関するが、設定全体で予測エントロピーほどではない。
• 不確実性を考慮したリファーラル（不確実なケースを却下する）は残りの予測の精度を高め、特定の条件下ではシステム全体が放射線科医に近い性能に近づく。