[論文レビュー] Confidence Aware Neural Networks for Skin Cancer Detection

Donya Khaledyan, AmirReza Tajally+5 more|ArXiv.org|Jul 19, 2021

Cutaneous Melanoma Detection and Management参考文献 25被引用数 8

ひとこと要約

本稿では、モンテカルロドロップアウト（MCD）、アンサンブルベイジアンネットワーク、および新規のアンサンブルモンテカルロドロップアウト（EMCD）手法を用いて、皮膚がん検出における予測不確実性を定量化する、不確実性に配慮した深層ニューラルネットワークを提案する。EMCDは予測不確実性を考慮した正確性（83％）が最も高く、キャリブレーション性能（ECE = 4.70）も最良を示し、臨床的意思決定支援における信頼性の向上に、アンサンブルベースの不確実性推定が有効であることを示している。

ABSTRACT

Deep learning (DL) models have received particular attention in medical imaging due to their promising pattern recognition capabilities. However, Deep Neural Networks (DNNs) require a huge amount of data, and because of the lack of sufficient data in this field, transfer learning can be a great solution. DNNs used for disease diagnosis meticulously concentrate on improving the accuracy of predictions without providing a figure about their confidence of predictions. Knowing how much a DNN model is confident in a computer-aided diagnosis model is necessary for gaining clinicians' confidence and trust in DL-based solutions. To address this issue, this work presents three different methods for quantifying uncertainties for skin cancer detection from images. It also comprehensively evaluates and compares performance of these DNNs using novel uncertainty-related metrics. The obtained results reveal that the predictive uncertainty estimation methods are capable of flagging risky and erroneous predictions with a high uncertainty estimate. We also demonstrate that ensemble approaches are more reliable in capturing uncertainties through inference.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における皮膚がん診断の不確実性推定の欠如が、臨床的信頼を損なうという問題に対処すること。
• 皮膚がん画像分類において、MCD、アンサンブルベイジアン、EMCDの3つの不確実性定量化手法を評価・比較すること。
• 包括的な評価を可能にするために、不確実性に特化した新規の性能指標（UAcc、USen、USpe、UPre）を導入・適用すること。
• 不確実性推定が誤った予測を効果的に特定できることを示し、臨床現場における第二意見ワークフローの起動に活用可能であることを実証すること。

提案手法

• 推論時にもドロップアウトを維持することで、確率的順伝播による不確実性（認識論的不確実性）を推定するモンテカルロドロップアウト（MCD）を適用する。
• 複数のDNNを独立に訓練し、予測をアンサンブル化することで不確実性を推定するアンサンブルディープラーニングを採用する。
• MCDとアンサンブル平均を組み合わせたハイブリッド手法、アンサンブルモンテカルロドロップアウト（EMCD）を提案し、不確実性推定の精度を向上させる。
• 皮膚症例データセットで微調整された事前学習モデル（例：DenseNet）を用いたトランスファーラーニングにより、データ依存性を低減する。
• 新規の不確実性評価指標として、不確実性正確性（UAcc）、感受性（USen）、特異性（USpe）、および閾値を変化させた際の適合率（UPre）を採用する。
• 期待キャリブレーション誤差（ECE）を用いてモデルのキャリブレーションを評価し、信頼度のビンごとの信頼度と正答率の絶対差の重み付き平均として計算する。

実験結果

リサーチクエスチョン

• RQ1 不確実性定量化手法は、深層学習を用いた皮膚がん検出において、誤った予測を信頼性高く特定できるか？
• RQ2 MCD、アンサンブル、EMCDの各手法は、皮膚がん分類における予測不確実性をどのように推定するか、その性能を比較するとどうなるか？
• RQ3 不確実性推定値は予測の正しさとどの程度相関を示し、専門家による再評価を誘発する目的で利用可能か？
• RQ4 提案された不確実性指標（UAcc、USenなど）は、不確実性予測の真の信頼性をどの程度適切に反映しているか？
• RQ5 どの不確実性定量化手法がキャリブレーションと不確実性を考慮した性能の両立において最良のバランスを達成しているか？

主な発見

• EMCD手法は期待キャリブレーション誤差（ECE = 4.70）が最小であり、MCDおよびアンサンブル手法と比較して優れたモデルキャリブレーションを示した。
• アンサンブル手法は閾値0.4で最も高い不確実性正確性（UAcc = 84.8％）を達成し、MCD（76％）およびEMCD（83％）を上回った。
• 3つの手法すべてが高い不確実性感受性（USen）を示し、0.5を超える値を記録しており、誤った予測を高不確実性で効果的に特定できる能力があることが示された。
• 不確実性適合率（UPre）は、高精度モデルにおける正解予測の高不確実性の長い尾部の影響で、各手法とも約0.44と低く抑えられていた。
• 可視化分析により、誤った予測の平均不確実性が正しい予測よりも顕著に高いことが確認され、モデルが信頼できない出力を検出できる能力を有していることが妥当性を確認した。
• 正解予測と誤った予測の不確実性分布は明確に分離されており、不確実性推定の識別能力が優れていることが示された。