[论文解读] Deep Active Learning for Axon-Myelin Segmentation on Histology Data

Melanie Lubrano di Scandalea, Christian S. Perone+2 more|arXiv (Cornell University)|Jul 11, 2019

Cell Image Analysis Techniques参考文献 12被引用 17

一句话总结

本文提出了一种基于U-Net架构中蒙特卡洛丢弃法的不确定性估计的深度主动学习框架，以减少组织病理学数据中轴突-髓鞘分割任务的标注工作量。仅标注3个基于不确定性的选样后，模型即达到最大Dice分数，显著优于随机采样方法（后者需标注15个样本才能达到相同性能），证明了在小规模真实生物医学数据集上可大幅减少专家标注工作量。

ABSTRACT

Semantic segmentation is a crucial task in biomedical image processing, which recent breakthroughs in deep learning have allowed to improve. However, deep learning methods in general are not yet widely used in practice since they require large amount of data for training complex models. This is particularly challenging for biomedical images, because data and ground truths are a scarce resource. Annotation efforts for biomedical images come with a real cost, since experts have to manually label images at pixel-level on samples usually containing many instances of the target anatomy (e.g. in histology samples: neurons, astrocytes, mitochondria, etc.). In this paper we provide a framework for Deep Active Learning applied to a real-world scenario. Our framework relies on the U-Net architecture and overall uncertainty measure to suggest which sample to annotate. It takes advantage of the uncertainty measure obtained by taking Monte Carlo samples while using Dropout regularization scheme. Experiments were done on spinal cord and brain microscopic histology samples to perform a myelin segmentation task. Two realistic small datasets of 14 and 24 images were used, from different acquisition settings (Serial Block-Face Electron Microscopy and Transmitting Electron Microscopy) and showed that our method reached a maximum Dice value after adding 3 uncertainty-selected samples to the initial training set, versus 15 randomly-selected samples, thereby significantly reducing the annotation effort. We focused on a plausible scenario and showed evidence that this straightforward implementation achieves a high segmentation performance with very few labelled samples. We believe our framework may benefit any biomedical researcher willing to obtain fast and accurate image segmentation on their own dataset. The code is freely available at https://github.com/neuropoly/deep-active-learning.

研究动机与目标

• 为减轻生物医学图像分割中像素级标注的高工作负担，特别是针对轴突和髓鞘等稀有或复杂结构。
• 评估基于不确定性的主动学习在真实世界小规模组织病理学数据集（标注真值有限）中的有效性。
• 证明仅选择少数高度不确定的样本即可实现与在更大规模随机数据集上训练的模型相当的分割性能。
• 为生物医学研究人员提供一种实用且易于访问的框架，使其能以极低的标注成本将其应用于自身显微成像数据。

提出的方法

• 使用蒙特卡洛丢弃法在U-Net基础上训练语义分割模型，通过多次前向传播估计预测不确定性。
• 利用丢弃样本间预测结果的方差量化不确定性，识别出最模糊（不确定）的图像块用于标注。
• 每次新增主动选择的样本批次后，从头开始重新训练模型。
• 框架采用固定的训练、验证和测试图像块划分，以确保各轮迭代间评估的一致性。
• 主动学习循环仅基于不确定性选择样本，未引入相似性或多样性等额外标准。
• 该方法已集成至AxonDeepSeg流程中，并通过GitHub公开，供社区使用。

实验结果

研究问题

• RQ1 基于不确定性的主动学习是否能显著减少在轴突-髓鞘组织病理学数据中实现高性能分割所需的标注样本数量？
• RQ2 在小规模生物医学数据集上，蒙特卡洛丢弃法的不确定性估计与随机采样相比，在收敛速度和最终Dice分数方面表现如何？
• RQ3 所提出的框架在不同采集模式（如SBEM与TEM）及真实世界数据集差异下是否保持性能稳定性？
• RQ4 不确定性图在多大程度上可指导研究人员识别模型失效区域，从而提升标注效率？

主要发现

• 在仅向初始训练集添加3个基于不确定性的选样后，主动学习框架即达到最大Dice分数，显著优于随机采样方法（后者需15个样本才能达到相同性能）。
• 在14张SBEM图像数据集上，模型在添加3个主动样本后Dice分数达0.89，而随机采样需15个样本才能达到0.87。
• 在24张TEM图像数据集上，模型在添加3个主动样本后Dice分数达0.86，而随机采样需15个样本才能达到0.84。
• 不确定性图有效突出了模型最不确定的区域，尤其在边界和低对比度区域，有助于实现针对性标注。
• 使用MC-Dropout进行不确定性估计被证明有效且简便，但作者指出通过平滑自助采样等替代不确定性度量方法可能进一步提升性能。
• 该框架在不同组织病理学采集方法（SBEM与TEM）下表现出鲁棒性，表明其对多样化真实世界数据集具有良好的泛化能力。