[论文解读] A hybrid approach for improving U-Net variants in medical image segmentation

Aitik Gupta, Joydip Dhar|arXiv (Cornell University)|Jul 31, 2023

AI in cancer detectionComputer Science被引用 3

一句话总结

本文提出了一种混合U-Net变体，通过集成深度可分离卷积、残差连接和注意力池化机制，在保持或提升皮肤病变和甲状腺腺体数据集分割精度的同时，将模型参数量减少了97%。该方法仅使用230万个参数即实现了最先进性能，显著提升了推理效率且未损失精度。

ABSTRACT

Medical image segmentation is vital to the area of medical imaging because it enables professionals to more accurately examine and understand the information offered by different imaging modalities. The technique of splitting a medical image into various segments or regions of interest is known as medical image segmentation. The segmented images that are produced can be used for many different things, including diagnosis, surgery planning, and therapy evaluation. In initial phase of research, major focus has been given to review existing deep-learning approaches, including researches like MultiResUNet, Attention U-Net, classical U-Net, and other variants. The attention feature vectors or maps dynamically add important weights to critical information, and most of these variants use these to increase accuracy, but the network parameter requirements are somewhat more stringent. They face certain problems such as overfitting, as their number of trainable parameters is very high, and so is their inference time. Therefore, the aim of this research is to reduce the network parameter requirements using depthwise separable convolutions, while maintaining performance over some medical image segmentation tasks such as skin lesion segmentation using attention system and residual connections.

研究动机与目标

• 减少U-Net变体中的可训练参数数量，以提升医学图像分割中的推理效率。
• 在具有挑战性的医学影像任务（如皮肤病变和甲状腺腺体分割）中保持或提升分割精度。
• 集成深度可分离卷积以减少参数量，同时保持特征表示能力。
• 通过残差连接和注意力池化增强特征学习，以改善梯度流动并聚焦于相关区域。
• 在公开数据集上验证混合架构，并与最先进模型（如MultiResUNet和Attention U-Net）进行比较。

提出的方法

• 在编码器中应用深度可分离卷积，通过解耦空间卷积与通道卷积来减少参数数量。
• 在编码器和解码器模块之间添加残差连接，以稳定训练并改善梯度流动。
• 引入注意力池化机制，在解码前动态强调编码器特征图中的重要特征。
• 该混合架构结合了U-Net的跳跃连接、深度可分离卷积的高效性以及注意力机制的选择性特征加权能力。
• 采用二元交叉熵损失进行端到端训练，并使用Adam优化器，初始基础学习率为1e-4。
• 通过消融实验隔离各组件（深度卷积、残差连接、注意力池化）的贡献。

实验结果

研究问题

• RQ1 深度可分离卷积是否能在不降低分割性能的前提下显著减少U-Net变体的参数量？
• RQ2 残差连接的集成如何影响轻量化U-Net架构中的训练稳定性和分割精度？
• RQ3 所提出的注意力池化机制在低参数模型中在多大程度上提升了特征表示能力和分割精度？
• RQ4 与最先进U-Net变体（如MultiResUNet和Attention U-Net）相比，该混合模型在精度和参数效率方面表现如何？
• RQ5 所提出的架构是否在多种医学影像任务（如皮肤病变和甲状腺腺体分割）中具有良好泛化能力？

主要发现

• 在HAM10000皮肤病变数据集上，所提混合模型的Dice系数达到0.8872，优于U-Net（0.8739）和Attention U-Net（0.8854）。
• 模型将参数量减少至230万，相比MultiResUNet（6480万）减少了97%，相比Attention U-Net（3488万）减少了93%。
• 在甲状腺腺体分割数据集上，该模型的Dice系数达到0.9493，准确率达到0.9766，优于U-Net（0.9332和0.9347），且在远少参数下与MultiResUNet性能相当。
• 消融实验表明，深度卷积、残差连接与注意力池化的组合在甲状腺数据集上实现了最高的IoU（0.9544）和最低的ASSD（0.0953）。
• 可视化结果表明，该模型在模糊病变边界、毛发遮挡和低对比度区域等复杂情况下优于U-Net。
• 该模型在参数效率与分割精度之间实现了最佳平衡，以极低计算成本展示了最先进性能。