[论文解读] Cost-efficient segmentation of electron microscopy images using active learning

Joris Roels, Yvan Saeys|arXiv (Cornell University)|Nov 13, 2019

Machine Learning and Algorithms参考文献 15被引用 8

一句话总结

该论文提出采用主动学习结合不确定性采样（特别是最大熵和最小置信度）的方法，显著减少电子显微镜图像分割中的标注工作量。通过迭代选择最具信息量的样本进行标注，该方法仅使用几百张标注图像，即在仅需随机采样四分之一标注数据的情况下，Jaccard分数高出10–15%，接近完全监督学习的性能。

ABSTRACT

Over the last decade, electron microscopy has improved up to a point that generating high quality gigavoxel sized datasets only requires a few hours. Automated image analysis, particularly image segmentation, however, has not evolved at the same pace. Even though state-of-the-art methods such as U-Net and DeepLab have improved segmentation performance substantially, the required amount of labels remains too expensive. Active learning is the subfield in machine learning that aims to mitigate this burden by selecting the samples that require labeling in a smart way. Many techniques have been proposed, particularly for image classification, to increase the steepness of learning curves. In this work, we extend these techniques to deep CNN based image segmentation. Our experiments on three different electron microscopy datasets show that active learning can improve segmentation quality by 10 to 15% in terms of Jaccard score compared to standard randomized sampling.

研究动机与目标

• 解决生物医学分割中电子显微镜（EM）图像标注成本高、数据稀缺的问题。
• 减少对大规模完全标注数据集的依赖，以训练如U-Net等深度学习模型。
• 通过智能样本选择，在保持高分割性能的同时最小化人工标注工作量。
• 评估并比较多种主动学习策略在电子显微镜成像语义分割中的表现。
• 证明基于不确定性的采样方法可在极小标注数据量下实现接近监督学习的性能。

提出的方法

• 应用五种主动学习策略——最大熵、最小置信度、贝叶斯主动学习分歧（BALD）、k-means采样和核心集——对基于U-Net的深度神经网络进行图像分割。
• 利用分割模型输出的像素级预测概率，计算未标注图像的不确定性得分。
• 在每次主动学习迭代中，选择不确定性最高的样本（如熵最高或置信度最低）交由人工标注。
• 每次迭代后，使用固定初始学习率5e−4对分割模型进行200个周期的再训练。
• 每次迭代后，通过验证集上的Jaccard分数（IoU）评估性能，以追踪学习曲线的陡峭程度。
• 在整个25次迭代中保持500个样本的固定池，从20个初始标注样本开始，以模拟现实中的标注工作流程。

实验结果

研究问题

• RQ1 主动学习是否能在不牺牲性能的前提下，减少电子显微镜图像分割中所需的标注数量？
• RQ2 在电子显微镜分割中，最大熵、最小置信度、BALD、k-means和核心集等主动学习策略中，哪一种能产生最陡峭的学习曲线？
• RQ3 在低标注预算下，基于不确定性的采样方法与随机采样相比，Jaccard分数表现如何？
• RQ4 基于不确定性的标准选择的是哪些类型的图像？模型的不确定性随时间如何演变？
• RQ5 结合探索与不确定性的混合方法是否能超越当前最先进的主动学习方法？

主要发现

• 与随机采样相比，最大熵和最小置信度采样在仅使用几百张标注样本的情况下，使Jaccard分数提高了10–15%。
• 最大熵方法在EPFL数据集上使用120张标注样本时，达到0.813的Jaccard分数，已接近完全监督学习的性能（0.857）。
• BALD和最小置信度采样优于随机采样和k-means采样，尽管BALD计算成本较高，但表现强劲。
• k-means采样表现甚至不如随机采样，可能是因为其侧重于探索而缺乏足够的不确定性驱动优先级。
• 核心集主动学习的性能与随机采样相当或略优，但若使用更优的特征嵌入，性能可进一步提升。
• 随着时间推移，模型选择的样本越来越具有挑战性，且不确定性图显示，高不确定性常与模型错误重合，凸显了探索与不确定性之间的权衡。