[论文解读] Bridging 2D and 3D Segmentation Networks for Computation Efficient Volumetric Medical Image Segmentation: An Empirical Study of 2.5D Solutions

Yichi Zhang, Qingcheng Liao+2 more|arXiv (Cornell University)|Oct 13, 2020

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一项全面的实证研究，针对2.5D医学图像分割方法，该方法在2D与3D CNN之间进行桥接，以实现计算高效的体积分割。通过在CT和MRI数据集上评估三类方法——多视角融合、跨切片特征整合以及2D/3D特征融合，研究证明2.5D方法可在显著降低计算量和参数量的前提下，实现与3D CNN相当或更优的性能，尤其在各向异性体数据上，3D CNN性能表现不佳时，优势更为明显。

ABSTRACT

Recently, deep convolutional neural networks have achieved great success for medical image segmentation. However, unlike segmentation of natural images, most medical images such as MRI and CT are volumetric data. In order to make full use of volumetric information, 3D CNNs are widely used. However, 3D CNNs suffer from higher inference time and computation cost, which hinders their further clinical applications. Additionally, with the increased number of parameters, the risk of overfitting is higher, especially for medical images where data and annotations are expensive to acquire. To issue this problem, many 2.5D segmentation methods have been proposed to make use of volumetric spatial information with less computation cost. Despite these works lead to improvements on a variety of segmentation tasks, to the best of our knowledge, there has not previously been a large-scale empirical comparison of these methods. In this paper, we aim to present a review of the latest developments of 2.5D methods for volumetric medical image segmentation. Additionally, to compare the performance and effectiveness of these methods, we provide an empirical study of these methods on three representative segmentation tasks involving different modalities and targets. Our experimental results highlight that 3D CNNs may not always be the best choice. Despite all these 2.5D methods can bring performance gains to 2D baseline, not all the methods hold the benefits on different datasets. We hope the results and conclusions of our study will prove useful for the community on exploring and developing efficient volumetric medical image segmentation methods.

研究动机与目标

• 解决3D CNN在体积分割任务中计算成本过高及过拟合风险大的问题。
• 评估并比较不同2.5D方法在多种医学影像模态和解剖目标上的性能表现。
• 为2.5D方法提供大规模实证基准，填补不同数据集和任务间系统性比较的空白。
• 根据数据集特征和计算约束，指导研究人员选择最优的2.5D架构。

提出的方法

• 将2.5D方法分为三类：多视角融合、通过RNN或注意力机制整合跨切片信息，以及在编码或输出阶段融合2D与3D特征。
• 采用2D和3D U-Net作为主干网络，确保所有方法间的一致性比较。
• 通过在冠状面、矢状面和轴面视图上分别训练2D网络，并聚合预测结果，实现多视角融合。
• 利用1D或3D RNN以及挤压-激励（SE）模块，整合跨切片上下文信息，以建模空间依赖性。
• 通过拼接或逐元素相加的方式，融合2D与3D编码器或最终输出的特征。
• 在所有模型中使用相同的超参数、数据增强策略和训练协议，确保公平比较。

实验结果

研究问题

• RQ1 2.5D分割方法是否在多样化医学影像任务中始终优于2D和3D基线方法？
• RQ2 哪种2.5D方法架构在性能、推理速度和模型复杂度之间实现了最佳权衡？
• RQ3 在3D CNN表现较差的各向异性体数据上，2.5D方法表现如何？
• RQ4 特征融合位置（编码阶段 vs. 输出阶段）对分割精度和训练效率的相对影响是什么？
• RQ5 2.5D方法是否能在显著减少参数量和训练时间的前提下，实现与3D CNN相当的性能？

主要发现

• 所有2.5D方法均优于2D U-Net基线，其中多视角融合方法性能接近3D U-Net，但需训练三个独立网络。
• 在心脏MRI任务中，输出阶段融合优于编码阶段融合；而在脾脏CT和前列腺MRI任务中，无单一融合方法在所有任务中全面占优。
• 基于RNN和注意力机制的跨切片整合方法优于简单的多切片输入，但性能增益因数据集而异，且未始终表现更优。
• 在编码阶段融合2D与3D特征可实现更高精度且计算成本更低；而输出阶段融合虽加速了3D网络的训练，但增加了推理时间。
• 所有2.5D方法的参数量显著少于3D U-Net，且训练速度更快——例如，2D U-Net参数量为0.487M，而3D U-Net为1.403M，训练时间仅为2D基线的1.00至2.32倍。
• 在各向异性体数据（如低切片分辨率的CT）上，3D CNN常表现不如2.5D方法，表明尽管3D模型具备体积分辨能力，但并非在所有情况下都为最优选择。