[论文解读] From CNN to Transformer: A Review of Medical Image Segmentation Models

Wenjian Yao, Jiajun Bai+4 more|arXiv (Cornell University)|Aug 10, 2023

Radiomics and Machine Learning in Medical Imaging被引用 8

一句话总结

本文综述四种代表性医学图像分割模型（U-Net、UNet++、TransUNet、Swin-Unet），分析它们的特征，并在结核病胸部X线与卵巢肿瘤数据集上比较性能，强调Transformer为基础的模型在全局上下文建模中的优势。

ABSTRACT

Medical image segmentation is an important step in medical image analysis, especially as a crucial prerequisite for efficient disease diagnosis and treatment. The use of deep learning for image segmentation has become a prevalent trend. The widely adopted approach currently is U-Net and its variants. Additionally, with the remarkable success of pre-trained models in natural language processing tasks, transformer-based models like TransUNet have achieved desirable performance on multiple medical image segmentation datasets. In this paper, we conduct a survey of the most representative four medical image segmentation models in recent years. We theoretically analyze the characteristics of these models and quantitatively evaluate their performance on two benchmark datasets (i.e., Tuberculosis Chest X-rays and ovarian tumors). Finally, we discuss the main challenges and future trends in medical image segmentation. Our work can assist researchers in the related field to quickly establish medical segmentation models tailored to specific regions.

研究动机与目标

• 评估基于CNN和Transformer的医学图像分割模型的发展与特征。
• 在基准数据集上对四个代表性模型进行定量比较。
• 识别医学图像分割中的挑战与未来趋势。
• 提供实验配置与开源代码以促进复现与扩展。

提出的方法

• 评审四个代表性模型：U-Net、UNet++、TransUNet、Swin-Unet。
• 从理论上分析各模型在特征表示与长距离依赖建模方面的优点与局限性。
• 在Tuberculosis Chest X-rays和Ovarian Tumors数据集上使用标准分割指标进行实验评估。
• 报告Dice、HD95、IoU、Accuracy、Precision与Recall以比较性能。
• 讨论数据标注与类别不平衡等挑战，并提出缓解策略。
• 在GitHub上分享代码与配置参数以利于可重复性。

实验结果

研究问题

• RQ1 传统的CNN‑based架构与Transformer‑based架构在医学图像分割上的比较如何？
• RQ2 在分割性能上加入Transformer模块（或Swin Transformer）对不同数据集有何影响？
• RQ3 在所测试任务中，哪种模型在精度、边界质量与计算效率之间达到最佳平衡？
• RQ4 在将监督分割应用于医学图像时存在哪些实际挑战，如何缓解？

主要发现

• TransUNet在所有考察指标上对Tuberculosis Chest X-rays取得了最佳整体性能。
• 在TB数据集上，TransUNet达到DSC 96.45、HD95 10.75、IoU 93.25、Accuracy 98.16、Precision 97.36、Recall 95.72。
• 在卵巢肿瘤数据集上，TransUNet在Dice、HD95、IoU、Accuracy和Precision方面再度领先，Recall次于Swin-Unet。
• 所有四种方法在肺部分割任务的平均IoU均高于91%，在易分割区域表现出色。
• 引入Transformer模块相较于纯CNN减少了极端差的Dice分数（<20%）的出现次数。
• 本研究结论认为Transformer-enabled架构（特别是TransUNet）能够有效捕捉全局信息并提升分割精度。