[论文解读] A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation

Zhenxi Zhang, Jie Li+3 more|arXiv (Cornell University)|Jun 18, 2019

Medical Image Segmentation Techniques参考文献 14被引用 17

一句话总结

本文提出了一种用于3D医学图像分割中稀疏标注的注意力引导主动学习策略，利用注意力机制估计切片不确定性并指导选择性标注。在dHCP数据集上，脑组织提取任务仅需15–20%的标注切片，组织分割任务仅需30–35%的标注切片，即可达到与全量标注相当的分割性能。

ABSTRACT

3D image segmentation is one of the most important and ubiquitous problems in medical image processing. It provides detailed quantitative analysis for accurate disease diagnosis, abnormal detection, and classification. Currently deep learning algorithms are widely used in medical image segmentation, most algorithms trained models with full annotated datasets. However, obtaining medical image datasets is very difficult and expensive, and full annotation of 3D medical image is a monotonous and time-consuming work. Partially labelling informative slices in 3D images will be a great relief of manual annotation. Sample selection strategies based on active learning have been proposed in the field of 2D image, but few strategies focus on 3D images. In this paper, we propose a sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation. Attention mechanism is used to improve segmentation accuracy and estimate the segmentation accuracy of each slice. The comparative experiments with three different strategies using datasets from the developing human connectome project (dHCP) show that, our strategy only needs 15% to 20% annotated slices in brain extraction task and 30% to 35% annotated slices in tissue segmentation task to achieve comparative results as full annotation.

研究动机与目标

• 为解决临床和研究环境中全量3D医学图像标注带来的高昂成本和时间负担。
• 开发一种稀疏标注策略，在最小化人工标注的同时保持分割性能。
• 将主动学习从2D扩展到3D医学图像分割，利用注意力机制提升不确定性估计性能。
• 在dHCP项目的真实3D脑成像数据集上评估所提方法的有效性。

提出的方法

• 将注意力机制集成到3D U-Net架构中，以增强特征表示并提高分割精度。
• 利用注意力图量化每一切片的不确定性，识别最具信息量的切片用于标注。
• 采用查询策略，在每次主动学习迭代中选择不确定性最高（注意力置信度最低）的切片进行标注。
• 通过逐步增加已标注切片集合的方式，增量式训练分割模型。
• 应用稀疏标注协议，仅对一小部分切片（15–35%）进行标注，其余切片由模型预测。
• 在两个3D分割任务上验证该方法：使用dHCP数据集进行脑组织提取和组织分割。

实验结果

研究问题

• RQ1 注意力引导的不确定性估计能否提升3D医学图像分割中主动学习的性能？
• RQ2 在保持分割精度的前提下，稀疏标注可实现多大程度的标注工作量减少？
• RQ3 在3D场景下，所提方法与随机采样和基于不确定性的采样策略相比表现如何？
• RQ4 注意力机制在3D医学成像中能在多大程度上增强模型泛化能力和不确定性估计？

主要发现

• 所提方法在脑组织提取任务中仅需标注15–20%的切片，即可达到与全量标注相当的分割性能。
• 在组织分割任务中，仅需标注30–35%的切片，即可获得相近的分割结果。
• 注意力引导的主动学习策略在两项分割任务中均优于基线的随机采样和基于不确定性的采样方法。
• 注意力图有效突出了高不确定性区域，从而实现了更具信息量的切片选择。
• 即使在稀疏标注条件下，模型仍保持了高分割精度，表现出对有限监督的强鲁棒性。