[论文解读] Convolutional neural networks for medical image segmentation

Jeroen Bertels, David Robben+2 more|arXiv (Cornell University)|Nov 17, 2022

AI in cancer detection被引用 5

一句话总结

本文对用于医学图像分割的卷积神经网络（CNNs）进行了全面分析，重点关注网络架构设计、数据采样策略，以及感受野与图像块大小之间的相互作用。文章解释了通过逐层特征映射实现体素级分类如何实现精确分割，并追溯了U-Net、FCN和DeepMedic等关键架构的演进历程，突出其结构创新及其在临床影像任务中的性能表现。

ABSTRACT

In this article, we look into some essential aspects of convolutional neural networks (CNNs) with the focus on medical image segmentation. First, we discuss the CNN architecture, thereby highlighting the spatial origin of the data, voxel-wise classification and the receptive field. Second, we discuss the sampling of input-output pairs, thereby highlighting the interaction between voxel-wise classification, patch size and the receptive field. Finally, we give a historical overview of crucial changes to CNN architectures for classification and segmentation, giving insights in the relation between three pivotal CNN architectures: FCN, U-Net and DeepMedic.

研究动机与目标

• 阐明CNN架构在医学图像分割中的作用，特别是处理具有空间对应关系的3D体素数据的能力。
• 分析数据采样策略（包括输入-输出对选择与图像块大小）对模型泛化能力和性能的影响。
• 解释分割网络中特征提取（编码器）与分类（解码器）之间的功能分离，及其与感受野的关系。
• 追溯FCN、U-Net和DeepMedic等关键架构的历史发展，突出其在提升分割精度方面的结构创新。
• 建立一个概念框架，将感受野大小、图像块大小与体素级分类相联系，以改善医学图像中的空间定位能力。

提出的方法

• 模型被表述为一系列映射 $ m = m^L \circ \cdots \circ m^1 $，其中每一层 $ m^l $ 应用可学习的卷积变换，其权重为 $ \Omega^l $，随后是非线性激活 $ \sigma^l $。
• 核心操作是可学习滤波器 $ \mathrm{W}^l $ 与局部图像块 $ x^l $ 之间的互相关（或卷积），在每个空间索引 $ i $ 处计算，通过 $ a^l_i = \sum_{\phi \in \Phi^l(i)} \mathrm{W}^l_\phi x^l_\phi + \mathrm{w}^l $ 生成激活图 $ a^l $。
• 感受野被定义为影响特定输出特征的空间输入体素范围，其大小随堆叠的卷积层和池化层的深度增加而扩大。
• 体素级分类通过在每个空间索引上独立应用相同的分类函数实现，从而在输出中保持空间结构。
• 数据采样被形式化为一个有限的训练对集合 $ \mathcal{S}_{\text{train}} = \{(x_n, y_n)\}_{n=1}^N $，目标是确保 $ P_{\text{test}}(X,Y) \approx P_{\text{train}}(X,Y) $ 以实现泛化。
• 本文强调了通过图像配准对输入和输出图像进行对齐的重要性，并建议使用填充或更大的输入体积以在各层之间保持空间对应关系。

实验结果

研究问题

• RQ1 CNN的架构组件（特别是感受野与特征映射）如何实现有效的医学图像分割？
• RQ2 在3D医学图像中，图像块大小、感受野与体素级分类质量之间存在何种关系？
• RQ3 FCN、U-Net和DeepMedic的架构创新相较于标准CNN如何提升分割性能？
• RQ4 为何数据采样与分布对齐在医学影像中训练鲁棒分割模型至关重要？
• RQ5 相同的卷积操作在编码器和解码器路径中可否通用？其使用方式如何影响模型性能？

主要发现

• CNN在医学图像分割中取得成功，源于其通过逐层共享空间的卷积操作实现体素级分类的能力，从而构建越来越复杂的表征。
• 感受野随网络深度增加而扩大，通过步长大卷积或池化操作进一步扩展，使模型能够捕捉局部邻域之外的上下文信息。
• 架构创新如U-Net中的跳跃连接和FCN的全卷积设计，显著提升了分割精度，通过保留空间分辨率并支持端到端训练实现。
• DeepMedic引入基于图像块的方法并采用大感受野，证明在小尺寸或不规则形状结构上建模扩展的3D邻域上下文可显著提升性能。
• 恰当的数据采样（包括图像配准和平衡的训练集构建）至关重要，可确保测试分布与训练分布一致，从而最小化领域偏移。
• 编码器与解码器之间的分离是概念性的而非结构性的；两者均执行卷积操作，其关键区别在于特征图的感受野大小与空间分辨率。