[论文解读] Unified Multi-scale Feature Abstraction for Medical Image Segmentation

Xi Fang, Bo Du+3 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Neural Network Applications参考文献 7被引用 4

一句话总结

本文提出MIMO-FAN，一种基于2D U-Net的新型架构，用于肝脏CT图像分割，通过密集跨尺度连接（DCCs）和深度金字塔监督（DPS）统一多尺度输入与输出特征。该方法在单步推理下实现最先进性能，在LiTS挑战数据集上达到95.7%的平均Dice分数，优于多步和3D方法，同时在单张GPU上训练速度显著更快。

ABSTRACT

Automatic medical image segmentation, an essential component of medical image analysis, plays an importantrole in computer-aided diagnosis. For example, locating and segmenting the liver can be very helpful in livercancer diagnosis and treatment. The state-of-the-art models in medical image segmentation are variants ofthe encoder-decoder architecture such as fully convolutional network (FCN) and U-Net.1A major focus ofthe FCN based segmentation methods has been on network structure engineering by incorporating the latestCNN structures such as ResNet2and DenseNet.3In addition to exploring new network structures for efficientlyabstracting high level features, incorporating structures for multi-scale image feature extraction in FCN hashelped to improve performance in segmentation tasks. In this paper, we design a new multi-scale networkarchitecture, which takes multi-scale inputs with dedicated convolutional paths to efficiently combine featuresfrom different scales to better utilize the hierarchical information.

研究动机与目标

• 为解决在统一多尺度框架下整合医学图像分割中全局与局部上下文信息的挑战。
• 与需要多阶段或3D处理的现有2D和3D U-Net变体相比，减少训练时间和计算成本。
• 通过在每个网络深度融合多尺度特征，提升特征抽象能力，保留层次化和上下文信息。
• 通过在多个输出尺度引入深度金字塔监督，缓解训练过程中的梯度消失问题。
• 实现具有竞争力的分割性能，采用单步推理，避免使用粗糙到精细的两阶段流水线。

提出的方法

• 网络通过空间金字塔池化实现多尺度输入，从网络起始阶段即提取不同分辨率的场景上下文。
• 密集跨尺度连接（DCCs）利用残差和密集跳跃连接，在相同深度融合不同尺度的特征，增强层次化特征表示。
• DCCs在编码器中采用自顶向下的融合，在解码器中采用自底向上的解码，以保持跨尺度的上下文完整性。
• 深度金字塔监督（DPS）在多个输出尺度应用加权交叉熵损失，通过空间金字塔池化生成与各尺度匹配的真值标签。
• 一种尺度融合（SF）策略将两个最大的概率图融合，生成最终更可靠的分割掩码。
• 模型在2D轴向切片上端到端训练，使用单张Titan Xp GPU，通过数据增强和调整至256×256以提高效率。

实验结果

研究问题

• RQ1 统一的多尺度网络架构是否能在不依赖3D卷积或多阶段流水线的情况下，提升2D医学图像分割中的特征抽象能力？
• RQ2 在每个网络深度整合多尺度特征，对分割精度和训练稳定性有何影响？
• RQ3 深度金字塔监督在多大程度上缓解了梯度消失问题，并提升了不同输出尺度上的性能？
• RQ4 与标准跳跃连接相比，所提出的DCC模块在特征表示和分割精度方面表现如何？
• RQ5 单步2D网络是否能在肝脏CT分割中实现与多步或3D最先进方法相当的性能？

主要发现

• MIMO-FAN在LiTS测试集上达到95.7%的平均Dice分数，单步推理下优于最先进3D H-DenseUNet（平均Dice为96.1%）。
• 该模型在单张Titan Xp GPU上仅需3小时即可完成训练，显著快于2D DenseUNet报告的21小时训练时间，以及H-DenseUNet的9小时微调时间。
• 消融研究显示，结合DCC与DPS可达到95.4%的平均Dice分数，加入尺度融合后进一步提升至95.7%。
• 统计t检验确认，MIMO-FAN显著优于U-Net（p=0.004）、ResU-Net（p=0.025）和DenseU-Net（p=0.002），p值均低于0.05。
• 该方法获得96.2%的全局Dice分数，表明在更大、更复杂的肝脏结构上表现优异。
• 视觉结果表明，相比基线U-Net变体，MIMO-FAN显著减少了假阳性和假阴性，更好地保留了边界细节。