[论文解读] DuAT: Dual-Aggregation Transformer Network for Medical Image Segmentation

Feilong Tang, Qiming Huang+4 more|arXiv (Cornell University)|Dec 21, 2022

AI in cancer detection被引用 13

一句话总结

本文提出DuAT，一种用于医学图像分割的双聚合Transformer网络，通过集成全局到局部空间聚合（GLSA）模块与选择性边界聚合（SBA）模块，提升全局上下文建模能力与细粒度边界保持能力。该模型在六个基准数据集上达到最先进性能，尤其在小物体分割与模糊边界检测方面表现优异，在ETIS数据集上的mDice得分最高达0.876，在ISIC-2018数据集上达0.822。

ABSTRACT

Transformer-based models have been widely demonstrated to be successful in computer vision tasks by modelling long-range dependencies and capturing global representations. However, they are often dominated by features of large patterns leading to the loss of local details (e.g., boundaries and small objects), which are critical in medical image segmentation. To alleviate this problem, we propose a Dual-Aggregation Transformer Network called DuAT, which is characterized by two innovative designs, namely, the Global-to-Local Spatial Aggregation (GLSA) and Selective Boundary Aggregation (SBA) modules. The GLSA has the ability to aggregate and represent both global and local spatial features, which are beneficial for locating large and small objects, respectively. The SBA module is used to aggregate the boundary characteristic from low-level features and semantic information from high-level features for better preserving boundary details and locating the re-calibration objects. Extensive experiments in six benchmark datasets demonstrate that our proposed model outperforms state-of-the-art methods in the segmentation of skin lesion images, and polyps in colonoscopy images. In addition, our approach is more robust than existing methods in various challenging situations such as small object segmentation and ambiguous object boundaries.

研究动机与目标

• 为解决基于Transformer的医学图像分割中局部细节退化的问题，特别是小物体与模糊边界区域。
• 改善视觉Transformer中全局上下文建模与局部特征保持之间的平衡。
• 通过选择性融合低层边界特征与高层语义表征，提升边界分割精度。
• 设计一种轻量化、鲁棒的架构，使其在多种医学影像任务与数据集上具有良好泛化能力。

提出的方法

• 全局到局部空间聚合（GLSA）模块通过整合编码器中的多尺度表征，联合捕捉全局与局部空间特征，提升大、小物体的定位能力。
• 选择性边界聚合（SBA）模块选择性地融合来自低层的边界感知特征与高层的语义特征，以优化物体边界。
• GLSA采用双分支结构，提取并聚合全局与局部空间依赖关系，减轻全局特征对局部细节的主导影响。
• SBA利用可学习注意力门动态加权边界特征与语义特征，确保边界精炼的精确性，同时避免对噪声的过拟合。
• 模型基于金字塔Transformer主干网络（PVTv2）构建，SBA与GLSA模块被插入多个解码器阶段，以增强特征精炼能力。
• 整个网络采用端到端训练，使用标准分割损失（如交叉熵与Dice损失），同时优化分割精度与边界保真度。

实验结果

研究问题

• RQ1 双聚合机制是否能有效提升医学图像分割中全局上下文与局部细节的表征能力？
• RQ2 在存在图像伪影与低对比度的情况下，选择性边界聚合能否有效保持细粒度边界？
• RQ3 通过GLSA整合全局与局部空间特征，是否相比标准Transformer更有效提升小物体检测能力？
• RQ4 在小物体分割与模糊边界等挑战性条件下，所提模型的性能表现如何？
• RQ5 GLSA与SBA模块对整体性能的相对贡献如何？其架构布局对结果有何影响？

主要发现

• 在ETIS数据集上，DuAT的平均Dice分数达到0.876，较基线模型提升2.2个百分点，较SOTA方法提升0.012。
• 在ISIC-2018数据集上，DuAT的mDice为0.822，mIoU为0.746，显著优于基线模型（mDice: 0.759）与无SBA模块的模型（mDice: 0.814）。
• 消融实验表明，移除SBA模块后，ETIS数据集上的mDice下降0.008，证实其在边界精炼中的关键作用。
• 与基线相比，GLSA模块在ISIC-2018数据集上使mDice提升2.2%，mIoU提升6.7%，凸显其在小物体定位中的有效性。
• SBA + GLSA配置在所有数据集上均取得最佳性能，ISIC-2018数据集上的MAE达到0.013，表明分割具有高精度。
• 可视化分析表明，GLSA提升小物体检测能力，SBA显著增强边界清晰度，尤其在模糊区域表现更优。