[論文レビュー] Uncertainty-inspired Open Set Learning for Retinal Anomaly Identification

Meng Wang, Lin Tian+22 more|arXiv (Cornell University)|Apr 8, 2023

Retinal Imaging and Analysis被引用数 4

ひとこと要約

本論文は、分類確率に加えて証拠的不確実性スコアを統合することで、深層学習のロバスト性を向上させる、不確実性にインspiredされたオープンセット（UIOS）学習モデルを提案する。9種類の網膜疾患カテゴリで訓練されたUIOSは、内部テストデータで99.55%のF1を達成し、未確認のカテゴリでは91.91%を記録し、標準的なAIモデルを著しく上回る。また、高不確実性スコアにより分布外（OOD）のサンプルを正しく特定し、誤診リスクを低減する信頼性の高い臨床スクリーニングを可能にする。

ABSTRACT

Failure to recognize samples from the classes unseen during training is a major limitation of artificial intelligence in the real-world implementation for recognition and classification of retinal anomalies. We established an uncertainty-inspired open-set (UIOS) model, which was trained with fundus images of 9 retinal conditions. Besides assessing the probability of each category, UIOS also calculated an uncertainty score to express its confidence. Our UIOS model with thresholding strategy achieved an F1 score of 99.55%, 97.01% and 91.91% for the internal testing set, external target categories (TC)-JSIEC dataset and TC-unseen testing set, respectively, compared to the F1 score of 92.20%, 80.69% and 64.74% by the standard AI model. Furthermore, UIOS correctly predicted high uncertainty scores, which would prompt the need for a manual check in the datasets of non-target categories retinal diseases, low-quality fundus images, and non-fundus images. UIOS provides a robust method for real-world screening of retinal anomalies.

研究の動機と目的

• 標準的なAIモデルが、希少疾患、低品質の画像、非フンダス画像などの分布外（OOD）網膜画像を検出できないという顕著な限界に対処すること。
• 追加のラベル付きOODデータを必要とせずに、予測の不確実性を特定する、頑健なオープンセット学習フレームワークを構築すること。
• 予期しないまたは曖昧な症例を自動で特定し、専門家によるレビューを促すことで、AIベースの網膜スクリーニングにおける臨床的信頼を高めること。
• 訓練セットの外のデータ分布に対しても信頼性が保証される性能を確保することで、眼科分野におけるAIの実世界への展開を向上させること。

提案手法

• UIOSモデルは、証拠的不確実性深層ニューラルネットワークを用い、各予測に対して分類確率と不確実性スコアを出力する。
• 不確実性スコアにしきい値を適用することで、予測を高信頼度（しきい値未満）または低信頼度（しきい値超過）に分類し、人間によるレビューを要するかどうかを示す。
• 最適なしきい値（θ = 0.1158）は、検証データ上で真陽性率と偽陽性率の差を最大化するYouden指数に基づく目的関数を用いて決定される。
• 一般化性能を向上させるために、1回の訓練実行で複数のモデル重みを生成するため、ResNet-50を用いてスナップショットアンサンブルを実装する。
• 計算効率と耐性を高めるために、ランダムな左右反転と256×256への画像リサイズを用いたデータ拡張が適用される。
• 本フレームワークは、JSIEC1000、RETOUCH、VOC2012など複数のデータセットを用いて評価され、分布内およびOODのサンプルにおける性能が評価される。

Figure 1 : The overview of the uncertainty-inspired open set (UIOS) learning for retinal anomaly classification. Standard artificial intelligence (AI) and UIOS AI models were trained with the same dataset with 9 categories of retinal photos. In testing, standard AI model assigns a probability value

実験結果

リサーチクエスチョン

• RQ1 訓練中に見られなかった分布外（OOD）の網膜画像、例えば希少疾患や非フンダス画像を、不確実性に配慮した深層学習モデルが信頼性を持って検出できるか。
• RQ2 不確実性スコアを統合することで、未確認およびOODのテストセットにおいて、標準的なAIモデルと比較してF1スコアと分類の信頼性がどの程度向上するか。
• RQ3 不確実性スコアが、予測の信頼度の代理として機能し、曖昧または新しい症例を自動で特定して専門家によるレビューを促すのにどの程度有効か。
• RQ4 網膜スクリーニングのオープンセット検出において、真陽性率と偽陽性率を最適にバランスさせる不確実性スコアのしきい値は何か。

主な発見

• UIOSモデルは、内部テストセットで99.55%のF1を達成し、標準AIモデルの92.20%を著しく上回った。
• 外部TC-JSIECデータセットでは、UIOSが97.01%のF1を記録したのに対し、標準AIモデルは80.69%にとどまった。
• TC-unseenテストセットでは、UIOSが91.91%のF1を達成した一方、標準AIモデルはたった64.74%にとどまり、OOD一般化性能の優位性が示された。
• モデルは、非ターゲットカテゴリの網膜疾患、低品質のフンダス画像、非フンダス画像に対して、高不確実性スコアを正しく割り当てており、曖昧または新しい症例の信頼性ある検出を示している。
• 最適な不確実性しきい値は、Youden指数に基づく最適化により0.1158に決定され、OOD検出における感度と特異度のバランスが取れた。
• UIOSフレームワークは、高信頼度の予測と専門家によるレビューを要する予測を区別することで、臨床的展開を信頼性高く可能にし、実世界のスクリーニングにおける誤診リスクを低減する。

Figure 2 : The receiver operating characteristic (ROC) curves of the standard AI model, our UIOS, and UIOS+Thresholding in internal and two external testing datasets.