[论文解读] H-DenseUNet: Hybrid Densely Connected UNet for Liver and Liver Tumor Segmentation from CT Volumes

Xiaomeng Li, Hao Chen+4 more|arXiv (Cornell University)|Sep 21, 2017

Advanced Neural Network Applications参考文献 43被引用 81

一句话总结

H-DenseUNet 提出了一种混合2D-3D密集连接的U-Net架构，通过混合特征融合层将2D切片内特征提取与3D切片间上下文聚合相结合，仅使用单一模型就在LiTS和3DIRCADb数据集上实现了肝脏及肝脏肿瘤分割的最先进性能。

ABSTRACT

Liver cancer is one of the leading causes of cancer death. To assist doctors in hepatocellular carcinoma diagnosis and treatment planning, an accurate and automatic liver and tumor segmentation method is highly demanded in the clinical practice. Recently, fully convolutional neural networks (FCNs), including 2D and 3D FCNs, serve as the back-bone in many volumetric image segmentation. However, 2D convolutions can not fully leverage the spatial information along the third dimension while 3D convolutions suffer from high computational cost and GPU memory consumption. To address these issues, we propose a novel hybrid densely connected UNet (H-DenseUNet), which consists of a 2D DenseUNet for efficiently extracting intra-slice features and a 3D counterpart for hierarchically aggregating volumetric contexts under the spirit of the auto-context algorithm for liver and tumor segmentation. We formulate the learning process of H-DenseUNet in an end-to-end manner, where the intra-slice representations and inter-slice features can be jointly optimized through a hybrid feature fusion (HFF) layer. We extensively evaluated our method on the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge and 3DIRCADb Dataset. Our method outperformed other state-of-the-arts on the segmentation results of tumors and achieved very competitive performance for liver segmentation even with a single model.

研究动机与目标

• 为解决2D和3D全卷积网络在体素肝脏分割中的局限性，通过结合两者的优势。
• 在保持切片间空间上下文的同时，降低计算成本和GPU显存占用。
• 通过3D组件利用分层体素上下文，提升肿瘤分割的准确性。
• 实现端到端训练的统一模型，联合优化切片内与切片间表征。
• 使用单一模型实现具有竞争力的肝脏分割性能和最先进的肿瘤分割性能。

提出的方法

• 网络采用2D DenseUNet分支，以高效学习单个CT切片内的特征。
• 使用3D DenseUNet分支，对多张切片间的体素上下文进行分层聚合。
• 混合特征融合（HFF）层将2D与3D分支的特征进行融合，以实现联合优化。
• HFF层通过在跳跃连接中融合多尺度的2D与3D特征，支持端到端训练。
• 该架构遵循自动上下文范式，利用深层的上下文特征来优化预测结果。
• 通过联合损失函数进行端到端训练，以同时优化肝脏与肿瘤分割。

实验结果

研究问题

• RQ1 混合2D-3D密集U-Net架构是否能在肝脏与肿瘤分割任务中超越纯2D或3D网络？
• RQ2 通过混合特征融合层结合切片内与切片间特征，是否能提升分割准确性？
• RQ3 所提出的方法是否能在保持计算效率的同时实现最先进的肿瘤分割性能？
• RQ4 与分阶段或级联方法相比，该混合架构的端到端训练在体素分割中的表现如何？
• RQ5 3D组件在不显著增加显存或计算成本的前提下，对上下文建模的增强程度如何？

主要发现

• H-DenseUNet在MICCAI 2017 LiTS挑战赛的肝脏肿瘤分割任务中取得了最先进性能。
• 该方法在肿瘤分割指标上优于其他最先进方法，包括Dice分数和敏感度。
• 即使未使用集成技术，模型在肝脏分割任务中也表现出具有竞争力的性能。
• 混合特征融合层有效结合了2D与3D特征，支持联合优化并提升了特征表示能力。
• 3D组件显著增强了体素上下文建模能力，提高了肿瘤定位与边界分割的准确性。
• 与纯3D全卷积网络相比，该架构保持了更低的计算成本与GPU显存占用，更适合临床部署。