[论文解读] Deep Learning from Small Amount of Medical Data with Noisy Labels: A Meta-Learning Approach

Görkem Algan, İlkay Ulusoy+3 more|arXiv (Cornell University)|Oct 14, 2020

Machine Learning and Data Classification参考文献 28被引用 4

一句话总结

本文提出一种元学习框架，通过利用少量干净的‘元数据’来指导从噪声标签中学习，从而提升在小规模、噪声较大的医学数据集上的深度学习性能。该方法在元训练过程中使用软标签预测以减少对标签噪声的过拟合，在含有68%标签噪声的早产儿视网膜病变数据集上实现了91.4%的测试准确率，优于标准交叉熵训练和现有方法在小数据集上的表现。

ABSTRACT

Computer vision systems recently made a big leap thanks to deep neural networks. However, these systems require correctly labeled large datasets in order to be trained properly, which is very difficult to obtain for medical applications. Two main reasons for label noise in medical applications are the high complexity of the data and conflicting opinions of experts. Moreover, medical imaging datasets are commonly tiny, which makes each data very important in learning. As a result, if not handled properly, label noise significantly degrades the performance. Therefore, a label-noise-robust learning algorithm that makes use of the meta-learning paradigm is proposed in this article. The proposed solution is tested on retinopathy of prematurity (ROP) dataset with a very high label noise of 68%. Results show that the proposed algorithm significantly improves the classification algorithm's performance in the presence of noisy labels.

研究动机与目标

• 解决由于专家意见不一致和数据复杂性导致的小规模医学数据集存在高标签噪声时训练深度学习模型的挑战。
• 克服传统损失函数和数据清洗方法在小规模、噪声较大的数据集上失效的局限性。
• 开发一种元学习框架，利用最少的已验证干净数据来有效引导模型从噪声标签中学习。
• 在数据稀缺的情况下，提升医学图像分类的泛化能力并防止对噪声标签的过拟合。
• 在小规模、高度噪声的早产儿视网膜病变数据集上实现最先进性能。

提出的方法

• 该框架采用双层元学习架构：一个常规训练循环和一个用于优化超参数的元训练循环。
• 在元训练过程中，模型学习使用少量已验证的干净样本（元数据）来预测噪声训练数据的软标签表示。
• 基础分类器在预测的软标签上进行训练，而非真实噪声标签，从而减少对错误标签的记忆。
• 元目标通过加权组合元损失和基础损失进行优化，其中超参数设置为K=10，α=0.5，β=4000。
• 在更大的糖尿病视网膜病变数据集上进行预训练，以在微调至ROP数据集之前提升特征学习能力。
• 采用带动量的随机梯度下降和学习率调度，包含10个学习率预热阶段，随后进行20个元训练阶段。

实验结果

研究问题

• RQ1 在存在极端标签噪声的小规模医学数据集上，元学习是否能有效提升模型泛化能力？
• RQ2 在医学图像分类中，使用少量干净元数据在多大程度上能增强从噪声标签中学习的能力？
• RQ3 与标准交叉熵训练相比，软标签预测机制在多大程度上能减少对噪声标签的过拟合？
• RQ4 所提出的方法是否在小规模、噪声较大的医学数据集上优于传统方法和现有最先进方法？
• RQ5 模型是否能在避免训练准确率达到100%的同时保持高测试准确率，从而体现对标签噪声的鲁棒性？

主要发现

• 所提方法在含有68%标签噪声的ROP数据集上实现了91.4%的测试准确率，优于标准交叉熵训练（86.3%和90.3%）。
• 所提方法的训练准确率被限制在86.23%，表明有效防止了对噪声标签的过拟合，而交叉熵方法则达到了100%。
• 该方法在仅使用1.9k张图像的情况下，性能与先前使用显著更大训练集（5.5k–8.5k张图像）的工作相当。
• 在更大的糖尿病视网膜病变数据集上进行预训练，使性能相比仅在ROP数据集上直接训练提升了4%。
• 该框架成功利用极少的干净元数据，从噪声数据中提取了有用知识，证明了其在低数据、高噪声场景下的有效性。
• 即使在极端标签噪声下，模型仍保持鲁棒性，表明其在真实世界医学影像应用中具有实际价值。