[论文解读] CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation

Zhanwei Xu, Ziyi Wu+1 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Neural Network Applications参考文献 16被引用 46

一句话总结

CFUN 将修改后的 3D Faster R-CNN 用于心脏定位，配合 3D U-net 进行分割，并新增 3D Edge-loss 头，提供快速且具有竞争力的全心脏分割。

ABSTRACT

In this paper, we propose a novel heart segmentation pipeline Combining Faster R-CNN and U-net Network (CFUN). Due to Faster R-CNN's precise localization ability and U-net's powerful segmentation ability, CFUN needs only one-step detection and segmentation inference to get the whole heart segmentation result, obtaining good results with significantly reduced computational cost. Besides, CFUN adopts a new loss function based on edge information named 3D Edge-loss as an auxiliary loss to accelerate the convergence of training and improve the segmentation results. Extensive experiments on the public dataset show that CFUN exhibits competitive segmentation performance in a sharply reduced inference time. Our source code and the model are publicly available at https://github.com/Wuziyi616/CFUN.

研究动机与目标

• 通过聚焦心脏区域，避免基于块的平铺切分，从而实现高效的全心脏分割。
• 通过在修改后的 Faster R-CNN 中嵌入 3D U-net，开发一个检测-分割管线，一步实现对所有心脏结构的分割。
• 引入一个 3D Edge-loss 头，以加速训练并提高分割的边界精度。
• 在 MM-WHS2017 上评估 CFUN，并在 Dice 分数和推理时间方面与最先进方法进行比较。

提出的方法

• 将 Faster R-CNN 扩展为 3D，使用 P3D Bottleneck 以处理 CT 体积维度。
• 用 P3D 替换 ResNet，并在 RPN 中加入 FPN 以实现心脏定位的多尺度特征融合。
• 嵌入一个修改后的3D U-net作为分割网络，输入为 RoI 对齐的心脏区域。
• 在解码器中使用深度监督，并添加一个额外的反卷积层，以将输出尺寸加倍，以实现更细的分割。
• 引入一个 3D Edge-loss 头，使用固定的 3D Sobel 内核来强制预测与真实值之间的边界一致性。
• 采用组合损失训练：L = w1 L_box + w2 L_cls + w3 L_seg + w4 L_edge，权重为 2:2:2:1。

实验结果

研究问题

• RQ1 检测为基础的管线能否在全心脏分割中超越基于块的平铺方法？
• RQ2 将 3D U-net 嵌入修改后的 Faster R-CNN 是否能提升分割精度并降低推理时间？
• RQ3 3D Edge-loss 头是否有助于边界精度和更快的收敛？
• RQ4 在 MM-WHS2017 上，CFUN 相较于现有的 3D U-net 和多阶段 CNN 方法，在 Dice 分数和速度方面如何？

主要发现

• CFUN 在 MM-WHS2017 测试数据上达到平均 Dice 分数 0.859，与竞赛冠军相抗衡。
• CFUN 在 10 秒内完成心脏分割（含数据加载和后处理在内的 15 秒内）。
• 消融实验表明，边界框细化头提高检测精度，Edge-loss 头提升边界质量。
• 与 3D U-net 和两阶段 U-net 相比，CFUN 在推断速度上更快，性能相当或更好。
• CFUN 的单一边界框方法避免了切片拼接和分块处理，利用全局心脏信息实现正则化分割。