[论文解读] Deep Learning Based Instance Segmentation in 3D Biomedical Images Using Weak Annotation

Zhuo Zhao, Lin Yang+4 more|arXiv (Cornell University)|Jun 28, 2018

Medical Image Segmentation Techniques参考文献 6被引用 5

一句话总结

该论文提出了一种两阶段3D实例分割框架，仅对所有实例使用3D边界框，对其中一小部分实例使用完整的体素掩码，显著减少了标注工作量。该方法在使用远少于全监督模型的标注时间下，实现了与全监督模型相当的性能，且在类似标注约束条件下优于现有方法。

ABSTRACT

Instance segmentation in 3D images is a fundamental task in biomedical image analysis. While deep learning models often work well for 2D instance segmentation, 3D instance segmentation still faces critical challenges, such as insufficient training data due to various annotation difficulties in 3D biomedical images. Common 3D annotation methods (e.g., full voxel annotation) incur high workloads and costs for labeling enough instances for training deep learning 3D instance segmentation models. In this paper, we propose a new weak annotation approach for training a fast deep learning 3D instance segmentation model without using full voxel mask annotation. Our approach needs only 3D bounding boxes for all instances and full voxel annotation for a small fraction of the instances, and uses a novel two-stage 3D instance segmentation model utilizing these two kinds of annotation, respectively. We evaluate our approach on several biomedical image datasets, and the experimental results show that (1) with full annotated boxes and a small amount of masks, our approach can achieve similar performance as the best known methods using full annotation, and (2) with similar annotation time, our approach outperforms the best known methods that use full annotation.

研究动机与目标

• 为解决3D生物医学实例分割中高成本、长时间的标注问题，该问题限制了深度学习模型的训练。
• 减少对完整体素掩码标注的依赖，因为此类标注极为耗时，难以在大规模3D生物医学数据集中实施。
• 开发一种实用的端到端3D实例分割模型，通过3D边界框和有限的完整掩码标注实现弱监督。
• 证明在仅使用极少完整掩码标注的情况下，弱监督训练仍可达到与全监督方法相当的性能。
• 通过最小化专家标注负担，实现更快、可扩展的3D生物医学图像实例分割。

提出的方法

• 提出一种两阶段3D实例分割模型：第一阶段，使用3D边界框标注的3D目标检测器检测所有实例；第二阶段，使用一小部分检测实例的完整体素掩码的3D体素分割头进行分割。
• 模型采用VoxRes模块，实现在3D体积分割网络中前向与后向方向的直接特征传播，提升特征学习能力。
• 3D目标检测器基于为3D设计的区域建议网络（RPN），采用基于锚点的预测方法生成边界框坐标和分类得分。
• 采用多任务损失函数，结合分类损失（对数损失）与回归损失（平滑L1损失），通过加权和平衡检测与定位任务。
• 在第二阶段应用RoIAlign，将3D特征图中的特征对齐至检测到的边界框，提升掩码预测的准确性。
• 该方法仅使用一小部分完整体素掩码（HL60细胞为20%，小胶质细胞为30%），并为所有实例提供完整边界框标注，实现弱监督训练。

实验结果

研究问题

• RQ1 3D实例分割模型是否仅使用所有实例的3D边界框和部分实例的稀疏完整体素掩码，仍可实现高性能？
• RQ2 在类似标注时间约束下，所提出的两阶段弱监督方法是否优于全监督方法？
• RQ3 与完整掩码标注相比，使用包含更强实例级信息的边界框标注，对检测性能有何影响？
• RQ4 在仅使用有限完整掩码的情况下，弱监督方法在多大程度上仍能实现与全标注模型相当的分割精度？
• RQ5 该模型在具有不同实例密度和复杂度的多样化3D生物医学数据集上是否具备良好的泛化能力？

主要发现

• 在HL60细胞数据集上，该方法使用20%完整掩码标注，检测F1得分为0.9783，分割F1得分为0.8927，优于在相似标注时间下的全标注基线模型。
• 仅用5.5小时标注时间，该方法检测F1达到0.9783，超过需要22.5小时标注时间的全标注VoxResNet模型。
• 在小胶质细胞数据集上，使用30%完整掩码标注，该方法分割F1得分为0.8424，优于全标注VoxResNet模型（F1 = 0.8484），且标注时间相近（54.7小时 vs. 172.9小时）。
• 在C. elegans数据集上，仅使用67个完整掩码和1,527个边界框，检测F1得分达到0.9495，表明即使掩码标注稀疏，检测性能依然出色。
• 当标注时间受限时，该方法优于全标注模型，证明使用边界框和稀疏掩码的弱监督方法在效率和效果上更具优势。
• 通过使用边界框标注进行检测、稀疏掩码进行优化，该方法在大幅降低标注成本的同时实现高性能，使大规模生物医学成像中的3D实例分割成为现实。