[论文解读] Curriculum learning for annotation-efficient medical image analysis: scheduling data with prior knowledge and uncertainty

Amelia Jiménez-Sánchez, Diana Mateus+6 more|arXiv (Cornell University)|Jul 31, 2020

COVID-19 diagnosis using AI参考文献 2被引用 5

一句话总结

本文提出了一种统一的课程学习框架，通过利用先验知识或模型预测得出的难度和不确定性评分，对医学图像分析中的训练样本进行调度。通过基于这些评分对数据进行重排序和重加权，该方法提升了模型性能——在数据稀缺、类别不平衡和标签噪声条件下，达到与经验丰富的创伤放射科医生相当的准确率。

ABSTRACT

Convolutional neural networks (CNNs) for multi-class classification require training on large, representative, and high quality annotated datasets. However, in the field of medical imaging, data and annotations are both difficult and expensive to acquire. Moreover, they frequently suffer from highly imbalanced distributions, and potentially noisy labels due to intra- or inter-expert disagreement. To deal with such challenges, we propose a unified curriculum learning framework to schedule the order and pace of the training samples presented to the optimizer. Our novel framework reunites three strategies consisting of individually weighting training samples, reordering the training set, or sampling subsets of data. The core of these strategies is a scoring function ranking the training samples according to either difficulty or uncertainty. We define the scoring function from domain-specific prior knowledge or by directly measuring the uncertainty in the predictions. We perform a variety of experiments with a clinical dataset for the multi-class classification of proximal femur fractures and the publicly available MNIST dataset. Our results show that the sequence and weight of the training samples play an important role in the optimization process of CNNs. Proximal femur fracture classification is improved up to the performance of experienced trauma surgeons. We further demonstrate the benefits of our unified curriculum learning method for three controlled and challenging digit recognition scenarios: with limited amounts of data, under class-imbalance, and in the presence of label noise.

研究动机与目标

• 解决深度学习中昂贵、不平衡和噪声较多的医学图像标注问题。
• 提升卷积神经网络（CNN）在多类别医学图像分类中的效率和鲁棒性。
• 开发一种统一的课程学习方法，整合基于难度和不确定性评分的数据重排序、重加权和子集采样。
• 在数据稀缺、类别不平衡和标签噪声条件下，对近端股骨骨折分类和数字识别任务进行方法评估。
• 在临床环境中展示与经验丰富的放射科医生相当的诊断准确率。

提出的方法

• 该框架使用评分函数根据领域特定的先验知识或模型预测置信度，对训练样本的难度或不确定性进行排序。
• 在训练过程中对样本进行重排序和重加权，以遵循从较容易或信息量更大的样本开始的课程学习路径。
• 该方法整合了三种策略：样本重加权、数据重排序和动态子集采样，均由同一基于不确定性的评分引导。
• 不确定性通过模型预测的方差或熵来衡量，而先验知识则用于为医学图像提供初始的难度估计。
• 该方法应用于CNN进行多类别分类，其优化过程由课程调度的数据流引导。
• 该框架在临床近端股骨骨折数据集和MNIST数据集上，在受控且具有挑战性的条件下进行了评估。

实验结果

研究问题

• RQ1 通过不确定性与先验知识调度训练样本，如何提升CNN在医学图像分类中的性能？
• RQ2 课程学习在医学影像中能在多大程度上缓解数据稀缺和类别不平衡导致的性能下降？
• RQ3 所提出的框架能否在骨折分类中实现与经验丰富的放射科医生相当的诊断性能？
• RQ4 整合重加权、重排序和子集采样如何影响优化的稳定性和收敛性？
• RQ5 标签噪声对模型性能有何影响，课程学习框架如何缓解这一影响？

主要发现

• 课程学习框架在近端股骨骨折数据上的分类准确率显著提升，达到与经验丰富的创伤外科医生相当的水平。
• 该方法在数据稀缺条件下表现出强鲁棒性，即使在标注样本有限的情况下仍能保持高准确率。
• 在类别不平衡条件下，课程方法减少了对多数类别的偏差，并提升了少数类的召回率。
• 该框架对标签噪声具有强韧性，在高达20%的标签被污染的情况下仍能保持高准确率。
• 基于不确定性和先验知识对样本进行重排序和重加权，相比标准训练，能实现更快的收敛速度和更好的泛化能力。
• 统一框架通过单一评分机制整合多种调度策略，优于基线课程学习方法。