[论文解读] MedAL: Deep Active Learning Sampling Method for Medical Image Analysis

Asim Smailagic, Hae Young Noh+7 more|arXiv (Cornell University)|Sep 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 10被引用 16

一句话总结

MedAL 提出了一种用于医学图像分析的深度主动学习采样方法，通过在学习到的特征空间中基于未标注图像与训练样本的平均距离来选择样本，从而提高模型效率。该方法仅使用 425 张标注图像即实现了 80% 的糖尿病视网膜病变检测准确率，较不确定性采样减少 32%，较随机采样减少 40%。

ABSTRACT

Deep learning models have been successfully used in medical image analysis problems but they require a large amount of labeled images to obtain good performance.Deep learning models have been successfully used in medical image analysis problems but they require a large amount of labeled images to obtain good performance. However, such large labeled datasets are costly to acquire. Active learning techniques can be used to minimize the number of required training labels while maximizing the model's performance.In this work, we propose a novel sampling method that queries the unlabeled examples that maximize the average distance to all training set examples in a learned feature space. We then extend our sampling method to define a better initial training set, without the need for a trained model, by using ORB feature descriptors. We validate MedAL on 3 medical image datasets and show that our method is robust to different dataset properties. MedAL is also efficient, achieving 80% accuracy on the task of Diabetic Retinopathy detection using only 425 labeled images, corresponding to a 32% reduction in the number of required labeled examples compared to the standard uncertainty sampling technique, and a 40% reduction compared to random sampling.

研究动机与目标

• 通过最小化所需标注数量，解决大规模医学图像数据集标注成本过高的问题。
• 通过选择更具信息量的样本进行标注，提升医学图像分析中主动学习的效率。
• 开发一种对不同数据集特性及初始模型条件具有鲁棒性的采样策略。
• 通过利用 ORB 特征描述符进行初始训练集选择，实现在无需预训练模型的情况下实现有效的主动学习。

提出的方法

• 提出一种采样策略，选择在深度特征空间中与所有训练样本平均距离最大的未标注图像。
• 使用深度神经网络从图像中提取特征，从而在有意义的表示空间中计算距离。
• 通过利用 ORB 特征描述符实现图像相似性度量，将该方法扩展至无需预训练模型即可构建初始训练集。
• 采用度量学习方法，确保所选样本在多样性与数据分布代表性方面表现良好。
• 将采样策略集成到主动学习循环中，通过迭代选择并标注图像以逐步提升模型性能。
• 在三个医学图像数据集上验证该方法，以评估其在不同成像模态和标注需求下的鲁棒性。

实验结果

研究问题

• RQ1 在学习到的特征空间中，基于距离的采样策略是否能在医学图像主动学习中优于标准的不确定性采样和随机采样？
• RQ2 MedAL 在保持高模型准确率的同时，能否显著减少所需标注图像的数量？
• RQ3 MedAL 在不依赖预训练模型的情况下，能够在多大程度上构建一个有效的初始训练集？
• RQ4 MedAL 对数据集大小、类别分布和成像模态的变化具有多大程度的鲁棒性？
• RQ5 MedAL 在不同医学图像分析任务和数据分布下是否能保持性能优势？

主要发现

• MedAL 仅使用 425 张标注图像即在糖尿病视网膜病变检测中达到 80% 的准确率，显著降低了标注工作量。
• 与不确定性采样相比，该方法减少了 32% 的标注样本数量；与随机采样相比，减少了 40%。
• MedAL 在三个不同的医学图像数据集上均表现出稳健性能，表明其在不同成像场景下具有良好的泛化能力。
• 基于 ORB 的初始化方法使 MedAL 在无需预训练模型的情况下实现有效主动学习，提升了实际部署的可行性。
• 基于距离的采样策略持续选择了多样化且具有信息量的样本，从而提升了模型收敛速度与准确率。
• 即使在标注数据有限的情况下，该方法仍保持高性能，凸显其在医学影像中常见低数据场景下的高效性。