[论文解读] 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation

Özgün Çiçek, Ahmed Abdulkadir+3 more|arXiv (Cornell University)|Jun 21, 2016

Advanced Neural Network Applications参考文献 12被引用 491

一句话总结

本文将 U-Net 扩展到 3D，以在稀疏标注切片的基础上对体积生物医学图像进行密集分割，实现半自动密集化和端到端从头开始的全自动分割。

ABSTRACT

This paper introduces a network for volumetric segmentation that learns from sparsely annotated volumetric images. We outline two attractive use cases of this method: (1) In a semi-automated setup, the user annotates some slices in the volume to be segmented. The network learns from these sparse annotations and provides a dense 3D segmentation. (2) In a fully-automated setup, we assume that a representative, sparsely annotated training set exists. Trained on this data set, the network densely segments new volumetric images. The proposed network extends the previous u-net architecture from Ronneberger et al. by replacing all 2D operations with their 3D counterparts. The implementation performs on-the-fly elastic deformations for efficient data augmentation during training. It is trained end-to-end from scratch, i.e., no pre-trained network is required. We test the performance of the proposed method on a complex, highly variable 3D structure, the Xenopus kidney, and achieve good results for both use cases.

研究动机与目标

• 实现从稀疏标注的体积图像中进行密集的三维分割。
• 提供一个半自动工作流程，其中用户指定的切片引导整个体积分割。
• 使用具有代表性的稀疏标注训练集实现全自动分割。
• 在复杂的 Xenopus 肾结构上展示该方法并量化相对于 2D 方法的提升。

提出的方法

• 通过将所有运算替换为 3D 等价物（3D 卷积、3D 最大池化、3D 上采样卷积）来将 2D U-Net 架构扩展到 3D。
• 采用无瓶颈架构并应用批量归一化以加速训练。
• 从头端到端训练，使用带权重的 softmax 损失，忽略未标注的体素，以便从稀疏标注中学习。
• 对数据进行即时弹性变形以进行数据增强，从而提高对少量标记切片的泛化能力。
• 采用分块策略以处理大体积并实现对 3D 数据规模的训练。
• 提供一个 OpenSource Caffe 基于的实现。

实验结果

研究问题

• RQ1 一个 3D 完全卷积网络是否能够从稀疏标注的切片中学习密集的体积分割？
• RQ2 在稀疏注释下用于半自动密集化时，3D U-Net 与 2D 方法相比如何？
• RQ3 在半自动和全自动设置中，标注切片数量对分割性能的影响是什么？
• RQ4 在这种低样本、高维度的场景下，批量归一化是否提升性能？
• RQ5 该方法在高度可变的三维生物结构（Xenopus 肾）上的表现如何，并能否推广到新的体积？

主要发现

• 在半自动分割中，带 BN 的 3D U-Net 在 IoU 上达到最多 0.863（折叠均值），优于 2D 基线。
• 增加标注切片数量会以非线性方式提升 IoU，即使只有极少量切片也会带来显著提升。
• 在全自动分割中，当使用 BN 训练时，3D 模型通常优于 2D 对应物，尽管在某些高度异质的数据设置中 BN 可能无效。
• 在半自动和全自动场景中，3D 架构在量化性能上相较于 2D 实现具有提升。
• 该方法可以从头训练，不需要预训练网络。