[论文解读] AFT*: Integrating Active Learning and Transfer Learning to Reduce Annotation Efforts

Zongwei Zhou, J. Shin+3 more|arXiv (Cornell University)|Feb 3, 2018

COVID-19 diagnosis using AI被引用 7

一句话总结

AFT* 提出了一种统一框架，整合了主动学习与迁移学习，以降低生物医学图像分析中的标注成本。通过迭代选择信息量丰富的样本并持续微调预训练的卷积神经网络（CNN），AFT* 在三个生物医学图像应用中，相比最先进方法，将标注工作量至少减少了50%。

ABSTRACT

The splendid success of convolutional neural networks (CNNs) in computer vision is largely attributed to the availability of large annotated datasets, such as ImageNet and Places. However, in biomedical imaging, it is very challenging to create such large annotated datasets, as annotating biomedical images is not only tedious, laborious, and time consuming, but also demanding of costly, specialty-oriented skills, which are not easily accessible. To dramatically reduce annotation cost, this paper presents a novel method to naturally integrate active learning and transfer learning (fine-tuning) into a single framework, called AFT*, which starts directly with a pre-trained CNN to seek worthy samples for annotation and gradually enhance the (fine-tuned) CNN via continuous fine-tuning. We have evaluated our method in three distinct biomedical imaging applications, demonstrating that it can cut the annotation cost by at least half, in comparison with the state-of-the-art method. This performance is attributed to the several advantages derived from the advanced active, continuous learning capability of our method. Although AFT* was initially conceived in the context of computer-aided diagnosis in biomedical imaging, it is generic and applicable to many tasks in computer vision and image analysis; we illustrate the key ideas behind AFT* with the Places database for scene interpretation in natural images.

研究动机与目标

• 解决生物医学图像标注的高成本和高专业性要求，这些因素阻碍了大规模数据集的创建。
• 克服现有方法将主动学习与迁移学习视为独立过程所导致的局限性。
• 开发一种统一框架，通过选择性标注与微调实现卷积神经网络的持续、迭代优化。
• 证明该方法在生物医学成像之外的通用性与有效性，包括在自然图像场景识别中的应用。

提出的方法

• 以预训练的卷积神经网络（CNN）初始化生物医学图像任务的模型。
• 采用主动学习识别并优先选择最具信息量的样本进行人工标注。
• 在每次新增标注批次后，对CNN实施连续微调，以逐步提升模型性能。
• 智能整合不确定性采样与基于多样性的选择策略，以在样本选择中平衡探索与利用。
• 通过在新选数据上微调预训练网络，利用迁移学习将模型适应目标生物医学领域。
• 通过迭代、数据高效的持续学习，维持模型性能的同时最小化所需标注数量。

实验结果

研究问题

• RQ1 结合主动学习与迁移学习的统一框架是否能显著降低生物医学图像分析中的标注成本？
• RQ2 在每次标注批次后实施连续微调，与静态微调相比，如何提升模型性能？
• RQ3 AFT* 在减少所需标注数量方面，相较于最先进方法的优越程度如何？
• RQ4 所提出的方法是否可泛化至生物医学成像之外的其他计算机视觉任务？
• RQ5 在样本选择中整合不确定性和多样性，对模型收敛速度与标注效率有何影响？

主要发现

• 在三个不同的生物医学图像应用中，AFT* 相较于最先进方法，将标注成本至少降低了50%。
• 连续微调机制可实现更快收敛，并在标注样本更少的情况下提升模型性能。
• 主动学习与迁移学习的整合带来了更高效的样本选择与更好的模型泛化能力。
• 该方法不仅在生物医学图像分析中表现优异，且在使用Places数据集的自然图像场景识别任务中也展现出强大性能。
• 该框架通过迭代地利用高价值样本优化模型，显著提升了标注效率。
• 该方法在大幅减少所需标注数量的同时保持了高模型准确率，证明其在低数据场景下的有效性。