[论文解读] Bridging the Gap Between 2D and 3D Organ Segmentation.

Yingda Xia, Lingxi Xie+4 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Neural Network Applications参考文献 14被引用 6

一句话总结

本文提出了一种用于体积分割的混合2D-3D框架，该框架在多个视图上训练2D网络，并使用轻量级3D体积分割融合网络（VFN）融合其输出，与标准3D网络相比，参数更少，同时实现了更高的分割精度和稳定性。该方法采用跨视图增强策略以提高数据效率，在具有挑战性的腹部器官数据集上优于2D和3D基线模型。

ABSTRACT

There has been a debate on whether to use 2D or 3D deep neural networks for volumetric organ segmentation. Both 2D and 3D models have their advantages and disadvantages. In this paper, we present an alternative framework, which trains 2D networks on different viewpoints for segmentation, and builds a 3D Volumetric Fusion Net (VFN) to fuse the 2D segmentation results. VFN is relatively shallow and contains much fewer parameters than most 3D networks, making our framework more efficient at integrating 3D information for segmentation. We train and test the segmentation and fusion modules individually, and propose a novel strategy, named cross-cross-augmentation, to make full use of the limited training data. We evaluate our framework on several challenging abdominal organs, and verify its superiority in segmentation accuracy and stability over existing 2D and 3D approaches.

研究动机与目标

• 为解决关于2D与3D深度学习模型在体积分割中孰优孰劣的长期争议。
• 在保留3D空间上下文的同时，降低3D网络的计算与参数负担。
• 通过一种新颖的数据增强策略，在有限训练数据下提升分割性能与稳定性。
• 通过将2D预测融合为3D一致的输出，弥合2D与3D方法之间的差距。

提出的方法

• 在3D体积分割的轴向、矢状面和冠状面视图上训练2D卷积神经网络，以捕捉多平面上下文信息。
• 设计一个浅层3D体积分割融合网络（VFN），将2D预测聚合为统一的3D分割输出。
• 为分割模块与融合模块分别设计独立的训练与测试协议，以提升泛化能力。
• 引入跨视图增强（cross-cross-augmentation），一种数据增强策略，通过在不同视图间应用变换，提升有效训练数据的多样性。
• 在VFN中使用可学习注意力或拼接机制融合2D预测，以保持空间一致性。

实验结果

研究问题

• RQ1 通过利用多视图预测，基于2D的方法能否实现3D分割性能？
• RQ2 轻量级3D融合网络是否能显著降低模型复杂度，同时保持或提升精度？
• RQ3 跨视图增强是否能有效提升在有限训练数据下的泛化能力？
• RQ4 与最先进2D和3D分割模型相比，所提出的框架在精度与稳定性方面表现如何？

主要发现

• 所提出的框架在多个腹部器官上均实现了高于2D和3D基线模型的分割精度。
• 体积分割融合网络（VFN）的参数量显著少于标准3D网络，提升了效率。
• 跨视图增强显著提升了模型的鲁棒性与性能，尤其在数据稀缺条件下表现更优。
• 该框架在不同器官类型与成像协议下均表现出更优的稳定性。