[论文解读] Difficulty-aware Meta-learning for Rare Disease Diagnosis

Xiaomeng Li, Lequan Yu+4 more|arXiv (Cornell University)|Jun 30, 2019

AI in cancer detection参考文献 11被引用 4

一句话总结

本文提出了一种难度感知元学习（DAML）方法，通过每类仅使用五个标注样本，以提升罕见皮肤病的少样本分类性能。在元训练过程中，通过动态降低已充分学习（简单）任务的权重并集中优化困难任务，DAML 在 ISIC 2018 数据集上对未见的罕见皮肤疾病类别实现了 83.3% 的 AUC，在真实世界 Dermofit Image Library 数据上实现了 82.67% 的 AUC，展现出强大的迁移能力与临床潜力。

ABSTRACT

Rare diseases have extremely low-data regimes, unlike common diseases with large amount of available labeled data. Hence, to train a neural network to classify rare diseases with a few per-class data samples is very challenging, and so far, catches very little attention. In this paper, we present a difficulty-aware meta-learning method to address rare disease classifications and demonstrate its capability to classify dermoscopy images. Our key approach is to first train and construct a meta-learning model from data of common diseases, then adapt the model to perform rare disease classification.To achieve this, we develop the difficulty-aware meta-learning method that dynamically monitors the importance of learning tasks during the meta-optimization stage. To evaluate our method, we use the recent ISIC 2018 skin lesion classification dataset, and show that with only five samples per class, our model can quickly adapt to classify unseen classes by a high AUC of 83.3%. Also, we evaluated several rare disease classification results in the public Dermofit Image Library to demonstrate the potential of our method for real clinical practice.

研究动机与目标

• 解决在极低数据设置下罕见疾病诊断的挑战，即每类仅有少量标注样本可用。
• 通过基于动态任务加权的元优化改进，提升医学图像分类中的少样本泛化能力。
• 通过在训练期间聚焦于困难且未充分代表的任务，减少微调过程中的过拟合。
• 在真实世界临床数据集（如 Dermofit Image Library）上验证该方法，以证明其实际适用性。
• 探索该方法在隐私敏感环境（如联邦学习）中应用的可行性。

提出的方法

• 该方法采用元学习框架，在常见疾病任务上训练共享初始化，从而通过少量梯度步长快速适应罕见疾病任务。
• 引入一种难度感知损失函数，根据任务当前的学习难度动态调节每个任务的贡献度，降低简单任务的权重，突出困难任务。
• 动态调制函数使用可学习参数 η 控制下压程度，最优性能在 η=5 时观察到。
• 模型架构采用 4 个卷积块，每个块包含 64 个特征图，并结合大量数据增强（旋转、翻转、缩放、裁剪）以提升鲁棒性。
• 该方法通过在常见疾病上进行元训练，以及在仅含每类五个样本的未见罕见疾病类别上进行元测试来评估。
• 与 MAML、任务采样及基于度量的基线方法对比，结果在所有设置下均表现出一致的优越性。

实验结果

研究问题

• RQ1 在每类仅五个样本的极端低数据设置下，元学习能否被增强以更好地处理罕见疾病分类？
• RQ2 在元优化过程中动态降低简单任务的权重，是否能提升对未见罕见疾病类别的泛化能力？
• RQ3 与标准元学习和任务采样方法相比，难度感知损失函数在少样本医学图像分类中的表现如何？
• RQ4 该方法能否在真实世界临床数据集（如 Dermofit Image Library）上实现高性能？
• RQ5 该方法是否适合部署于联邦学习等隐私保护学习框架中？

主要发现

• 在 ISIC 2018 数据集上，所提出的 DAML 方法在仅使用每类五个训练样本的情况下，对三个未见的罕见皮肤疾病类别分类实现了 83.3% 的 AUC。
• 在公开的 Dermofit Image Library 上，该方法在每类五个样本的设置下实现了 82.67% 的平均 AUC，优于 MAML 和任务采样基线。
• 消融研究显示，最优的难度感知损失参数为 η=5，此时性能最高；而更高值（如 η=7）导致性能轻微下降。
• 使用残差块导致过拟合，而采用仅含 64 个滤波器的简单卷积块并结合数据增强可获得更好的泛化性能。
• 大量数据增强将 AUC 从 79.3% 提升至 81.2%，但最显著的提升来自难度感知优化，而非数据增强。
• 在所有样本设置（1、3、5 个样本）下，该方法均优于 MAML 和任务采样方法，证实其在极低数据环境下的鲁棒性。