[论文解读] An Active Learning Method for Diabetic Retinopathy Classification with Uncertainty Quantification

Muhammad Ahtazaz Ahsan, Adnan Qayyum+2 more|arXiv (Cornell University)|Dec 24, 2020

Retinal Imaging and Analysis被引用 4

一句话总结

本文提出了一种用于糖尿病视网膜病变分类的混合主动学习框架，结合贝叶斯卷积神经网络（BCNNs）与不确定性量化及主动学习，以减少对标注数据的依赖。通过使用蒙特卡洛 dropout 进行不确定性估计，并仅查询最具信息量且不确定性较低的样本，该方法在二分类任务中实现了 92% 的最先进准确率，在多分类任务中也达到 92%，且仅使用极少的标注数据。

ABSTRACT

In recent years, deep learning (DL) techniques have provided state-of-the-art performance on different medical imaging tasks. However, the availability of good quality annotated medical data is very challenging due to involved time constraints and the availability of expert annotators, e.g., radiologists. In addition, DL is data-hungry and their training requires extensive computational resources. Another problem with DL is their black-box nature and lack of transparency on its inner working which inhibits causal understanding and reasoning. In this paper, we jointly address these challenges by proposing a hybrid model, which uses a Bayesian convolutional neural network (BCNN) for uncertainty quantification, and an active learning approach for annotating the unlabelled data. The BCNN is used as a feature descriptor and these features are then used for training a model, in an active learning setting. We evaluate the proposed framework for diabetic retinopathy classification problem and have achieved state-of-the-art performance in terms of different metrics.

研究动机与目标

• 解决糖尿病视网膜病变分类中高质量、专家标注医学影像数据稀缺的问题。
• 通过贝叶斯深度学习量化预测不确定性，提升模型可靠性。
• 通过基于不确定性的采样策略实施主动学习，降低标注成本与计算负担。
• 开发一种透明、可解释的模型，通过不确定性感知预测支持临床决策。
• 在二分类与多分类糖尿病视网膜病变分类任务上评估该框架。

提出的方法

• 该框架采用带有蒙特卡洛 dropout 的贝叶斯卷积神经网络（BCNN），用于估计预测不确定性并作为特征描述符。
• 通过基于 dropout 的贝叶斯推断量化不确定性，即通过多次前向传播估计预测后验分布。
• 主动学习采用两种查询策略：基于池的采样与基于委员会的查询，选择不确定性最高的样本进行标注。
• 仅选择不确定性较低（低于阈值）且在 MC dropout 运行中预测结果一致的样本进行标注，以减少误差传播。
• 使用 BCNN 特征在主动学习循环中训练下游分类器，通过极少的标注数据迭代提升性能。
• 模型从零开始训练，未使用 ImageNet 预训练，以确保在医学影像中具备任务特定的泛化能力。

实验结果

研究问题

• RQ1 与确定性模型相比，贝叶斯深度学习能否在糖尿病视网膜病变分类中提升不确定性量化效果？
• RQ2 基于不确定性的主动学习在减少糖尿病视网膜病变分类所需标注样本数量方面有多高效？
• RQ3 混合 BCNN-主动学习框架能否在保持模型可解释性的同时实现最先进性能？
• RQ4 不确定性量化如何影响模型在临床决策支持中的置信度与可靠性？
• RQ5 超参数调优（如 dropout 率与不确定性阈值）对 BCNN 在医学影像中不确定性估计与模型性能的影响如何？

主要发现

• BCNN 在低置信度预测中实现了 92% 的二分类准确率，在高置信度预测中为 81%，表明其具备有效的不确定性感知推理能力。
• 在多分类任务中，BCNN 在高置信度预测下达到 92% 的准确率，表明其在不确定性校准方面表现强劲。
• 主动学习框架提升了最先进性能，在仅使用较少标注数据的情况下，二分类任务准确率达到 91%。
• 不确定性量化的整合降低了模型的过度自信，提升了在模糊或复杂病例中的可靠性。
• 该方法在准确率与不确定性估计方面均优于确定性 CNN，尤其在低数据场景下表现更优。
• dropout 率与不确定性阈值的超参数调优显著影响模型稳定性与性能，提示仍有进一步优化空间。