[论文解读] An Active Learning Approach for Reducing Annotation Cost in Skin Lesion Analysis

Xueying Shi, Qi Dou+4 more|arXiv (Cornell University)|Sep 5, 2019

Cutaneous Melanoma Detection and Management参考文献 13被引用 7

一句话总结

该论文提出了一种用于皮肤病变分析的新型主动学习框架，通过解耦的准则联合优化样本的有用性和代表性，从而降低标注成本。该方法进一步通过像素空间内的类内图像聚合提升模型性能，在ISIC 2017任务中仅使用完整训练数据的40–50%即实现了最先进（SOTA）的准确率。

ABSTRACT

Automated skin lesion analysis is very crucial in clinical practice, as skin cancer is among the most common human malignancy. Existing approaches with deep learning have achieved remarkable performance on this challenging task, however, heavily relying on large-scale labelled datasets. In this paper, we present a novel active learning framework for cost-effective skin lesion analysis. The goal is to effectively select and utilize much fewer labelled samples, while the network can still achieve state-of-the-art performance. Our sample selection criteria complementarily consider both informativeness and representativeness, derived from decoupled aspects of measuring model certainty and covering sample diversity. To make wise use of the selected samples, we further design a simple yet effective strategy to aggregate intra-class images in pixel space, as a new form of data augmentation. We validate our proposed method on data of ISIC 2017 Skin Lesion Classification Challenge for two tasks. Using only up to 50% of samples, our approach can achieve state-of-the-art performances on both tasks, which are comparable or exceeding the accuracies with full-data training, and outperform other well-known active learning methods by a large margin.

研究动机与目标

• 解决皮肤病变分析中大规模标注皮肤镜图像成本高昂且稀缺的问题。
• 通过开发一种低成本的主动学习框架，降低对大规模标注数据集的依赖。
• 通过同时选择多样化（代表性）和不确定（有用性）的样本，提升模型的泛化能力。
• 通过在像素空间中引入一种新颖的类内图像聚合策略，从有限的标注样本中增强特征学习。

提出的方法

• 提出一种双准则样本选择策略，将有用性（基于预测不确定性）与代表性（基于潜在空间中的特征多样性）解耦。
• 利用模型预测的熵来识别具有高不确定性的有用样本。
• 在预训练网络的特征空间中应用聚类，以识别覆盖多样化数据分布的代表性样本。
• 引入一种像素空间聚合策略，通过学习到的权重将多张同类图像拼接，生成增强样本。
• 采用两阶段迭代过程：先进行样本选择，再使用原始数据和增强数据对模型进行微调。
• 将所选样本及其增强版本组合，形成一个紧凑但丰富的监督学习训练集。

实验结果

研究问题

• RQ1 将样本选择过程解耦为有用性与代表性两个独立目标，是否能提升皮肤病变分类中主动学习的效率？
• RQ2 在仅使用有限标注数据进行训练时，像素空间中的类内图像聚合对模型性能有何影响？
• RQ3 主动学习在多大程度上可降低标注成本，同时保持或超越全量数据训练的性能？
• RQ4 所提出的聚合策略是否能缓解过拟合并减小低数据场景下的泛化差距？

主要发现

• 在任务1中，该方法仅使用50%的训练数据即达到86.0%的准确率，与全量数据训练的86.3%准确率非常接近。
• 在任务2中，该方法仅使用40%的标注样本即超越了全量数据训练的性能，展现出显著的数据效率。
• 在两个任务的所有查询比例下，该框架始终优于最先进的主动学习方法（如AIFT）。
• 消融实验表明，拼接不同类内的图像（而非复制同一张图像）能获得更优性能，验证了该聚合策略的有效性。
• 使用聚合监督时，训练集与验证集之间的泛化差距显著减小，表明模型鲁棒性增强且过拟合减少。
• 在γ = 0.7时达到有用性与代表性样本的最优平衡，且在所有测试的γ值下性能均优于随机选择。