[論文レビュー] Uncertainty-aware deep learning methods for robust diabetic retinopathy classification

Joel Jaskari, Jaakko Sahlsten+6 more|arXiv (Cornell University)|Jan 22, 2022

Retinal Imaging and Analysis被引用数 5

ひとこと要約

本稿では、網膜症分類のための未知の不確実性に配慮した深層学習フレームワークを提案し、2値分類および5クラス分類タスクにおけるキャリブレーションを向上させるために、二次加重kappa（QWK）損失から導出したQWK-Risk不確実性測度を導入している。この手法は、臨床的およびベンチマークデータセットにおいてエントロピーに基づく不確実性よりも一般化性能に優れる。特に5クラスのPIRCスケームにおいて顕著である。

ABSTRACT

Automatic classification of diabetic retinopathy from retinal images has been widely studied using deep neural networks with impressive results. However, there is a clinical need for estimation of the uncertainty in the classifications, a shortcoming of modern neural networks. Recently, approximate Bayesian deep learning methods have been proposed for the task but the studies have only considered the binary referable/non-referable diabetic retinopathy classification applied to benchmark datasets. We present novel results by systematically investigating a clinical dataset and a clinically relevant 5-class classification scheme, in addition to benchmark datasets and the binary classification scheme. Moreover, we derive a connection between uncertainty measures and classifier risk, from which we develop a new uncertainty measure. We observe that the previously proposed entropy-based uncertainty measure generalizes to the clinical dataset on the binary classification scheme but not on the 5-class scheme, whereas our new uncertainty measure generalizes to the latter case.

研究の動機と目的

• 深層学習ベースの網膜症スクリーニングにおける信頼性の高い不確実性推定の臨床的ニーズに対応する。
• ベンチマークデータセットにとどまらず、実臨床データへと不確実性に配慮した手法の一般化を調査する。
• 臨床的に重要な5クラスPIRCシステムにまで、堅牢な深層学習のバイナリ分類（例：注意を要する vs. 注意を要しない）の拡張を図る。
• QWK損失関数に基づく新しい不確実性測度を考案し、臨床的評価指標と整合性をもたせる。
• 複数のデータセットにおいて、モデルの不確実性レベルに応じた不確実性ベースの紹介戦略の性能を評価する。

提案手法

• 期待される負の二次加重kappa（QWK）損失から導出された新しい不確実性測度、QWK-Riskを提案し、臨床的評価指標に直接最適化する。
• 事後予測分布を関数として条件付きリスクの期待値を定式化し、不確実性推定と性能指標の間の関連を確立する。
• 紹介プロセスにおける不確実性の代理としてQWK-Riskを用い、最も不確実な予測を専門家に紹介する。
• 複数の近似的ベイジアン深層学習手法（MCドロップアウト、MFVI、Radial BNN、ディープアンサンブル）を実装・比較する。
• ベンチマークデータセット（EyePACS、APTOS、Messidor-2）および臨床データセット（KSSHP）の両方でモデルを学習し、一般化性能を評価する。
• 検証データからの混同行列を構築し、各予測に対してQWK-Riskを計算することで、不確実性を考慮した分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エントロピーに基づく不確実性測度は、臨床データセットおよび5クラス網膜症分類に一般化可能か？
• RQ2 QWK-Riskに基づく不確実性測度は、エントロピーと比較して臨床的5クラス分類においてモデルの頑健性を向上させられるか？
• RQ3 異なる近似的ベイジアン深層学習手法は、多様なデータセットにおける不確実性ベースの紹介プロトコル下で、どのように性能を発揮するか？
• RQ4 提案されたQWK-Risk測度は、臨床的意味のある性能指標（例：QWK）とどの程度整合性を示すか？
• RQ5 不確実性推定は、自動網膜症スクリーニングにおける専門家の紹介を効果的に模擬できるか？

主な発見

• エントロピーに基づく不確実性測度は、臨床データにおける2値分類（注意を要する vs. 注意を要しない）では良好に一般化されるが、5クラスPIRCスケームには一般化できない。
• 提案されたQWK-Risk不確実性測度は、5クラス分類タスクにおいて効果的に一般化され、この設定ではエントロピーを上回る性能を示した。
• KSSHP臨床データセットにおいて、QWK-Riskに基づく紹介戦略は、エントロピーに基づく手法と比較して、あらゆる紹介レベルで高いQWKスコアを達成した。
• ディープアンサンブルおよびRadial BNNは、QWK-Riskを用いることで、高い紹介率下でも高いQWKスコアを維持する上で優れた性能を示した。
• QWK-Risk測度は、特に多クラス設定において、エントロピーと比較して臨床的評価指標とより良好に整合した。
• 本研究は、不確実性推定手法が、臨床現場で使用される特定の分類スキームおよび評価指標に適合させる必要があることを確認した。