[論文レビュー] An Active Learning Method for Diabetic Retinopathy Classification with Uncertainty Quantification

Muhammad Ahtazaz Ahsan, Adnan Qayyum+2 more|arXiv (Cornell University)|Dec 24, 2020

Retinal Imaging and Analysis被引用数 4

ひとこと要約

本論文は、ベイジアン畳み込みニューラルネットワーク（BCNN）と不確実性評価、アクティブラーニングを組み合わせたハイブリッドアクティブラーニングフレームワークを提案し、ラベル付きデータへの依存度を低減する。モンテカルロドロップアウトを用いた不確実性推定と、最も情報量が多く不確実性が低いサンプルのみをクエリすることで、最小限のラベル付きデータで二値分類で92%、多クラス分類で92%の最先端性能を達成した。

ABSTRACT

In recent years, deep learning (DL) techniques have provided state-of-the-art performance on different medical imaging tasks. However, the availability of good quality annotated medical data is very challenging due to involved time constraints and the availability of expert annotators, e.g., radiologists. In addition, DL is data-hungry and their training requires extensive computational resources. Another problem with DL is their black-box nature and lack of transparency on its inner working which inhibits causal understanding and reasoning. In this paper, we jointly address these challenges by proposing a hybrid model, which uses a Bayesian convolutional neural network (BCNN) for uncertainty quantification, and an active learning approach for annotating the unlabelled data. The BCNN is used as a feature descriptor and these features are then used for training a model, in an active learning setting. We evaluate the proposed framework for diabetic retinopathy classification problem and have achieved state-of-the-art performance in terms of different metrics.

研究の動機と目的

• 糖尿病網膜症分類における高品質で専門家がアノテートした医療画像データの不足を解決すること。
• ベイジアンディープラーニングを用いて予測の不確実性を定量化することで、モデルの信頼性を向上させること。
• 不確実性に基づくサンプリングを用いたアクティブラーニングにより、アノテーションコストと計算負荷を低減すること。
• 不確実性に配慮した予測を通じて、臨床意思決定を支援する透明性と解釈可能性を持つモデルを開発すること。
• 本フレームワークを二値分類および多クラス分類の糖尿病網膜症分類タスクに評価すること。

提案手法

• 本フレームワークは、予測の不確実性を推定し、特徴記述子として機能するベイジアン畳み込みニューラルネットワーク（BCNN）を採用する。
• 不確実性は、複数回の順方向伝搬により予測の事後分布を推定するドロップアウトベースのベイジアン推論により定量化される。
• アクティブラーニングは、プールベースのサンプリングとクエリ・バイ・コミ mitteeの2つのクエリ戦略を用いて実装され、不確実性が最も高いサンプルがラベル付けのために選択される。
• 誤差伝搬を低減するために、ドロップアウト実行回数にわたる予測が一貫しており、かつ不確実性が閾値未満（低）のサンプルのみがラベル付け対象として選ばれる。
• BCNNの特徴量を用いて、アクティブラーニングループ内で下流分類器を学習し、最小限のラベル付きデータで段階的に性能を向上させる。
• 医療画像分野におけるタスク固有の一般化を保証するため、ImageNetの事前学習を一切行わず、モデルをからだから訓練する。

実験結果

リサーチクエスチョン

• RQ1 決定論的モデルと比較して、ベイジアンディープラーニングは糖尿病網膜症分類における不確実性評価をどのように改善できるか？
• RQ2 不確実性サンプリングを用いたアクティブラーニングは、DR分類に必要なラベル付きサンプル数をどの程度削減できるか？
• RQ3 ハイブリッドBCNN-アクティブラーニングフレームワークは、モデルの解釈可能性を維持しつつ最先端の性能を達成できるか？
• RQ4 不確実性評価は、臨床意思決定支援におけるモデルの信頼性と自信にどのような影響を与えるか？
• RQ5 ハイパーパrameterチューニング（ドロップアウト率や不確実性閾値）は、医療画像分野におけるBCNNの不確実性推定とモデル性能にどのような影響を与えるか？

主な発見

• BCNNは、低信頼度予測では92%の二値分類精度、高信頼度予測では81%の精度を達成し、効果的な不確実性に配慮した推論を示した。
• 多クラス分類では、高信頼度予測下で92%の精度を達成し、不確実性のキャリブレーションが図れた強力な性能を示した。
• アクティブラーニングフレームワークにより、最先端の結果が向上し、ラベル付きデータを削減した状態で二値分類で91%の精度を達成した。
• 不確実性評価の統合により、モデルの過信を低減し、曖昧または複雑な症例における信頼性が向上した。
• 特にデータが少ない状況下で、決定論的CNNと比較して、本手法は精度と不確実性推定の両面で優れた性能を示した。
• ドロップアウト率および不確実性閾値のハイパーパrameterチューニングは、モデルの安定性と性能に顕著な影響を及ぼし、さらなる最適化の余地があることを示唆した。