[论文解读] MA-Unet: An improved version of Unet based on multi-scale and attention mechanism for medical image segmentation

Yutong Cai, Yong Wang|arXiv (Cornell University)|Dec 20, 2020

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

本文提出 MA-Unet，一种增强型 U-Net 架构，通过整合多尺度特征融合与双注意力机制（空间注意力与通道注意力），提升医学图像分割性能。通过在编码器-解码器特征间应用注意力门以实现对齐，并融合多尺度预测结果，MA-Unet 在仅比标准 U-Net 多出 4.9MB 参数的情况下，实现了 65.3% 的平均交并比（mIoU）与 75.49% 的平均 Dice 系数（mDC），性能超越 Attention U-Net 与 UNet++ 等模型，达到当前最先进水平。

ABSTRACT

Although convolutional neural networks (CNNs) are promoting the development of medical image semantic segmentation, the standard model still has some shortcomings. First, the feature mapping from the encoder and decoder sub-networks in the skip connection operation has a large semantic difference. Second, the remote feature dependence is not effectively modeled. Third, the global context information of different scales is ignored. In this paper, we try to eliminate semantic ambiguity in skip connection operations by adding attention gates (AGs), and use attention mechanisms to combine local features with their corresponding global dependencies, explicitly model the dependencies between channels and use multi-scale predictive fusion to utilize global information at different scales. Compared with other state-of-the-art segmentation networks, our model obtains better segmentation performance while introducing fewer parameters.

研究动机与目标

• 解决标准 U-Net 中编码器与解码器特征间跳跃连接存在的语义错位问题。
• 更有效地建模医学图像分割中的长距离上下文依赖关系。
• 整合多尺度的全局上下文信息，以增强特征表示能力。
• 在提升分割精度与鲁棒性的同时降低模型复杂度。
• 开发一种轻量化但高精度的架构，适用于临床部署。

提出的方法

• 在编码器与解码器特征之间引入注意力门（AGs），以动态抑制无关区域并增强相关特征的对齐。
• 采用结合空间注意力与通道注意力的双注意力机制，显式建模长距离依赖关系与特征重要性。
• 应用多尺度特征提取与预测融合策略，以利用不同分辨率层级的上下文信息。
• 基于 Attention U-Net 设计轻量化结构，最大限度减少参数增长并提升性能。
• 采用多尺度预测融合策略，融合多个解码器阶段的特征，以改善边界定位能力。
• 利用带有可学习注意力权重的跳跃连接，优化特征融合过程并减小语义差距。

实验结果

研究问题

• RQ1 注意力机制是否能有效减少 U-Net 中编码器与解码器特征之间的语义差距？
• RQ2 多尺度特征融合在医学图像分割中如何提升分割精度？
• RQ3 与标准注意力机制相比，双注意力机制（空间与通道）是否能更优地建模长距离依赖关系？
• RQ4 所提出的架构在参数增长极小的情况下，性能提升程度如何？
• RQ5 多尺度与注意力机制的融合是否能带来更精确且鲁棒的细小解剖边界分割？

主要发现

• MA-Unet 在医学图像分割基准上实现了 65.3% 的 mIoU 与 75.49% 的 mDC，优于 Attention U-Net（64.32% mIoU，73.93% mDC）与 UNet++（52.32% mIoU，62.93% mDC）。
• 尽管参数量仅增加 4.9MB，MA-Unet 相较于标准 U-Net 的 mIoU 提升 0.98%，mDC 提升 1.56%。
• 与 Attention U-Net 相比，MA-Unet 在显著更少的参数量（减少 98.5MB）下实现了更高的 mIoU 与 mDC。
• 可视化结果表明，MA-Unet 更好地保留了细节，并能准确分割肺部与食管癌图像中的细微边界。
• 多尺度融合机制有效结合了高分辨率空间细节与高层语义特征，显著提升了整体分割质量。
• 双注意力机制成功突出关键区域并抑制噪声，提升了模型的鲁棒性与定位精度。