[论文解读] H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes

Xiaomeng Li, Hao Chen+4 more|arXiv (Cornell University)|Sep 21, 2017

Advanced Neural Network Applications被引用 106

一句话总结

提出一种混合的二维-三维 DenseUNet（H-DenseUNet），结合用于同一切片内特征的深层二维 DenseUNet 与用于切片间上下文的三维 DenseUNet，端到端融合，以提高 CT 体积上的肝脏与肿瘤分割。

ABSTRACT

Liver cancer is one of the leading causes of cancer death. To assist doctors in hepatocellular carcinoma diagnosis and treatment planning, an accurate and automatic liver and tumor segmentation method is highly demanded in the clinical practice. Recently, fully convolutional neural networks (FCNs), including 2D and 3D FCNs, serve as the back-bone in many volumetric image segmentation. However, 2D convolutions can not fully leverage the spatial information along the third dimension while 3D convolutions suffer from high computational cost and GPU memory consumption. To address these issues, we propose a novel hybrid densely connected UNet (H-DenseUNet), which consists of a 2D DenseUNet for efficiently extracting intra-slice features and a 3D counterpart for hierarchically aggregating volumetric contexts under the spirit of the auto-context algorithm for liver and tumor segmentation. We formulate the learning process of H-DenseUNet in an end-to-end manner, where the intra-slice representations and inter-slice features can be jointly optimized through a hybrid feature fusion (HFF) layer. We extensively evaluated our method on the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge and 3DIRCADb Dataset. Our method outperformed other state-of-the-arts on the segmentation results of tumors and achieved very competitive performance for liver segmentation even with a single model.

研究动机与目标

• 解决在 CT 体积中准确分割肝脏及肝肿瘤的挑战，利用切片内外上下文信息。
• 通过提出一个混合架构，高效融合二维切片内特征与三维体积上下文，克服纯2D或3D FCN 的局限。
• 实现端到端优化，联合学习切片内表示和切片间特征以提高分割精度。
• 在 LiTS 上展示最先进的性能，在 3DIRCADb 数据集上获得有竞争力的结果。

提出的方法

• 设计一个非常深的二维 DenseUNet（DenseUNet-167），通过密集连接和 UNet 风格的跳跃连接提取丰富的切片内特征。
• 引入一个更轻量的三维 DenseUNet（DenseUNet-65），以降低内存和计算量来捕捉体积上下文。
• 开发一个混合特征融合层（HFF），在端到端方式下联合优化融合后的切片内和切片间特征。
• 使用自上下文启发的训练方案，其中 2D DenseUNet 的输出指导 3D DenseUNet 的训练，实现高效的活体上下文学习。
• 使用加权交叉熵损失进行训练；实现粗略肝分割阶段，随后在感兴趣区域内进行细粒度病灶分割。
• 通过以预训练 DenseNet 权重初始化 2D 编码器权重来加速收敛。

实验结果

研究问题

• RQ1 通过混合融合将深度2D切片内表示与3D切片间上下文整合，是否能在肝脏与肿瘤分割上优于纯2D或纯3D FCN？
• RQ2 端到端联合优化混合特征是否比分离或分阶段训练在 LiTS 和 3DIRCADb 数据集上获得更好的性能？
• RQ3 预训练权重和 UNet 风格的跳跃连接对肝脏与病灶分割精度的影响？
• RQ4 与最先进方法在 LiTS 和 3DIRCADb 上相比，该方法在准确性和效率方面的表现如何？

主要发现

• H-DenseUNet 在 LiTS 排行榜上实现了卓越的病灶（肿瘤）分割性能，并在肝脏分割方面具有竞争力的结果，在消融研究中超越了若干基线。
• 在消融实验中，带有预训练和 UNet 连接的二维 DenseUNet 的表现优于三维 DenseUNet 与普通二维 DenseNet，凸显深层二维切片内特征和跳跃连接的价值。
• 混合特征融合（HFF）层比单独使用二维或三维网络具有更好的收敛性和更低的损失，证实了整合切片内与切片间信息的好处。
• 端到端训练与混合架构相比仅需约30小时总训练时间，而单独训练3D DenseUNet约60小时，同时提供更高的 Dice 分数。
• 在 LiTS 上，采用所提训练和融合策略的 H-DenseUNet 在病灶分割上名列第一，并实现了非常有竞争力的肝脏分割性能。
• 训练使用来自预训练 DenseNet 权重的 2D 编码器进行迁移学习，加速收敛并提高最终精度。