[论文解读] CS2-Net: Deep Learning Segmentation of Curvilinear Structures in Medical Imaging

Lei Mou, Yitian Zhao+10 more|arXiv (Cornell University)|Oct 15, 2020

Retinal Imaging and Analysis参考文献 69被引用 36

一句话总结

CS2-Net 是一个统一的 2D/3D 深度学习模型，具备双自注意力（通道和空间）和边界感知卷积，用于在多种医用影像模态中分割曲线状结构，在九个数据集上达到最新的研究水平。

ABSTRACT

Automated detection of curvilinear structures, e.g., blood vessels or nerve fibres, from medical and biomedical images is a crucial early step in automatic image interpretation associated to the management of many diseases. Precise measurement of the morphological changes of these curvilinear organ structures informs clinicians for understanding the mechanism, diagnosis, and treatment of e.g. cardiovascular, kidney, eye, lung, and neurological conditions. In this work, we propose a generic and unified convolution neural network for the segmentation of curvilinear structures and illustrate in several 2D/3D medical imaging modalities. We introduce a new curvilinear structure segmentation network (CS2-Net), which includes a self-attention mechanism in the encoder and decoder to learn rich hierarchical representations of curvilinear structures. Two types of attention modules - spatial attention and channel attention - are utilized to enhance the inter-class discrimination and intra-class responsiveness, to further integrate local features with their global dependencies and normalization, adaptively. Furthermore, to facilitate the segmentation of curvilinear structures in medical images, we employ a 1x3 and a 3x1 convolutional kernel to capture boundary features. ...

研究动机与目标

• 在多种医用影像模态中实现曲线状结构（如血管、神经纤维） 的自动分割。
• 开发能够同时处理 2D 与 3D 数据的统一的编码器–解码器网络。
• 结合通道注意力和空间注意力，以学习丰富的层级表示和长程依赖。
• 通过专用的 1x3 与 3x1 卷积增强边界特征捕捉，并将注意力扩展到 3D。
• 展示在多数据集上对比最先进方法的鲁棒性能。

提出的方法

• 提出 CS2-Net，具有编码器–解码器骨干网络和四个基于 ResNet 的带跳跃连接的块。
• 引入通道和空间注意力模块（CSAM），由 2D/3D 空间注意力块（SAB）和通道注意力块（CAB）组成，以产生注意力感知特征。
• 实现边界聚焦卷积（2D 中的 1x3 和 3x1；并扩展到等效的 3D 形式）以更好地捕捉曲线边界。
• 将注意力机制扩展到 3D，以跨切片聚合深度信息。
• 使用将加权交叉熵和 Dice 系数结合的损失函数（L = alpha*LWCE + (1-alpha)*LDice，且 alpha = 0.6）。
• 通过加入额外的方向卷积（如 1x1x3）来建模宽度、高度和深度关系，对 CSAM 进行 3D 适配。

实验结果

研究问题

• RQ1 CS2-Net 能否在多模态的 2D 与 3D 医学影像中有效分割曲线状结构？
• RQ2 通道注意力和空间注意力机制是否提升了曲线状结构与背景之间的辨别能力，并在这些结构中捕捉到长程依赖？
• RQ3 将边界聚焦卷积纳入并将注意力扩展到 3D 是否能在各数据集上提升分割性能？
• RQ4 CS2-Net 与九个多样化数据集上的最先进方法相比如何？

主要发现

• CS2-Net 在跨多种生物医学成像模态下检出曲线状结构方面达到整体最先进水平。
• 该框架在六个 2D 数据集和三个 3D 数据集上进行验证，显示出在成像类型上的多样性。
• 双重注意力（通道和空间）提升了曲线状结构的特征辨别和全局上下文建模。
• 边界感知卷积有助于捕捉对细长结构至关重要的边缘信息。
• 一个统一的 2D/3D 架构，带跳跃连接和原理性损失，提升分割鲁棒性。