[论文解读] CNN-based Segmentation of Medical Imaging Data

Baris Kayalibay, Grady W. Jensen+1 more|arXiv (Cornell University)|Jan 11, 2017

AI in cancer detection参考文献 35被引用 144

一句话总结

本文提出一种基于3D CNN的医学影像分割方法，将U-Net样架构改造以处理3D数据、数据稀缺和类别不平衡，并在手部MRI骨骼数据和BRATS脑肿瘤数据集上进行评估。

ABSTRACT

Convolutional neural networks have been applied to a wide variety of computer vision tasks. Recent advances in semantic segmentation have enabled their application to medical image segmentation. While most CNNs use two-dimensional kernels, recent CNN-based publications on medical image segmentation featured three-dimensional kernels, allowing full access to the three-dimensional structure of medical images. Though closely related to semantic segmentation, medical image segmentation includes specific challenges that need to be addressed, such as the scarcity of labelled data, the high class imbalance found in the ground truth and the high memory demand of three-dimensional images. In this work, a CNN-based method with three-dimensional filters is demonstrated and applied to hand and brain MRI. Two modifications to an existing CNN architecture are discussed, along with methods on addressing the aforementioned challenges. While most of the existing literature on medical image segmentation focuses on soft tissue and the major organs, this work is validated on data both from the central nervous system as well as the bones of the hand.

研究动机与目标

• 展示在医学影像上使用3D滤波器的基于CNN的分割方法。
• 研究对U-Net的架构修改，包括多尺度特征图和替代跳跃连接。
• 通过训练策略和损失设计解决医学影像固有的数据稀缺和类别不平衡问题。
• 在手部骨骼分割和脑肿瘤分割数据集（BRATS）上验证该方法。

提出的方法

• 使用具备收缩路径和扩展路径的全卷积3D网络以及长跳跃连接。
• 比较长跳跃连接策略：逐元素求和与拼接。
• 尝试将多尺度产生的分割图结合以加速收敛。
• 用与Dice/Jaccard系数密切相关的损失进行训练以处理类别不平衡。
• 通过随机变换的数据增强来缓解数据稀缺。
• 在内存受限时通过将大3D图像分割为区域或降采样来处理。

实验结果

研究问题

• RQ1 3D CNN基于分割在手部MRI骨骼分割上的性能如何，相比BRATS脑肿瘤分割？
• RQ2 在长跳跃连接中使用逐元素求和与拼接对分割准确率的影响如何？
• RQ3 从多尺度组合分割图是否能改善收敛性和精确度？
• RQ4 以dice/Jaccard为灵感的损失是否能有效解决3D医学影像分割中的类别不平衡？
• RQ5 在训练和部署3D CNN以处理大体积医学数据时，有效的内存约束处理策略有哪些？

主要发现

• 具有长跳跃连接和多尺度分割图的3D CNN能够在手部数据和BRATS数据上有效训练。
• 对长跳跃连接使用逐元素求和与拼接进行比较，以评估性能差异。
• 来自不同尺度的分割图的组合加速收敛并帮助训练。
• 采用类似Dice/Jaccard的损失来应对医学图像中典型的严重类别不平衡。
• 训练使用数据增强和降采样策略来解决数据稀缺和内存需求。