[论文解读] Automatic Segmentation of Head and Neck Tumor: How Powerful Transformers Are?

Ikboljon Sobirov, Otabek Nazarov+2 more|arXiv (Cornell University)|Jan 17, 2022

Radiomics and Machine Learning in Medical Imaging被引用 8

一句话总结

该论文评估了一种基于视觉变换器的模型（UNETR）在多模态CT/PET扫描中自动进行头颈部肿瘤分割的性能，将其与最先进的基于CNN的模型进行比较。该变换器模型从零开始训练，取得了0.736的平均DSC，表现出与顶尖CNN模型相当的性能，凸显了变换器在医学图像分割中的强大潜力。

ABSTRACT

Cancer is one of the leading causes of death worldwide, and head and neck (H&N) cancer is amongst the most prevalent types. Positron emission tomography and computed tomography are used to detect, segment and quantify the tumor region. Clinically, tumor segmentation is extensively time-consuming and prone to error. Machine learning, and deep learning in particular, can assist to automate this process, yielding results as accurate as the results of a clinician. In this paper, we investigate a vision transformer-based method to automatically delineate H&N tumor, and compare its results to leading convolutional neural network (CNN)-based models. We use multi-modal data from CT and PET scans to perform the segmentation task. We show that a solution with a transformer-based model has the potential to achieve comparable results to CNN-based ones. With cross validation, the model achieves a mean dice similarity coefficient (DSC) of 0.736, mean precision of 0.766 and mean recall of 0.766. This is only 0.021 less than the 2020 competition winning model (cross validated in-house) in terms of the DSC score. On the testing set, the model performs similarly, with DSC of 0.736, precision of 0.773, and recall of 0.760, which is only 0.023 lower in DSC than the 2020 competition winning model. This work shows that cancer segmentation via transformer-based models is a promising research area to further explore.

研究动机与目标

• 研究基于视觉变换器的模型在使用多模态CT和PET成像进行头颈部肿瘤自动分割中的性能。
• 从分割精度的角度，将基于变换器的模型与最先进的基于CNN的模型（例如，基于SE的U-Net、nnU-Net）进行比较。
• 评估数据增强对本医学分割任务中基于变换器的模型性能的影响。
• 评估新提出的UNETR架构在原始应用范围之外的其他医学成像场景中的泛化能力和鲁棒性。
• 探究变换器是否能在复杂、低对比度、易受伪影影响的医学图像分割任务中与CNN相媲美或超越。

提出的方法

• 采用UNETR这一基于视觉变换器的架构，其使用3D ViT编码器提取全局上下文特征，并采用U-Net风格的解码器进行分割。
• 在HECKTOR数据集提供的多模态3D CT和PET扫描上，使用交叉熵损失和Dice损失端到端训练该模型。
• 应用广泛的数据增强技术，包括强度抖动、旋转、翻转和弹性形变，以提高泛化能力。
• 采用留一中心排除的交叉验证策略，确保在不同临床中心和扫描协议下的稳健评估。
• 将结果与两种领先的基于CNN的模型进行比较：2020年竞赛优胜的基于SE的U-Net和自动配置的最先进U-Net变体nnU-Net。
• 对预测分割掩膜进行定性分析，与真实标注进行比较，并识别与低肿瘤对比度、小尺寸以及CT伪影相关的失败案例。

实验结果

研究问题

• RQ1 基于视觉变换器的模型是否能在头颈部肿瘤分割任务中实现与最先进的基于CNN的模型相当的分割性能？
• RQ2 数据增强在本医学影像任务中对基于变换器的模型性能有何影响？
• RQ3 在多模态CT/PET扫描中，基于变换器的模型在分割头颈部肿瘤时的主要失败模式是什么？
• RQ4 UNETR模型在不同临床中心和扫描采集协议下的性能泛化能力如何？
• RQ5 多模态CT和PET输入在多大程度上提升了模型精确定位肿瘤的能力？

主要发现

• 基于视觉变换器的UNETR模型在交叉验证中取得了0.736（±0.043）的平均Dice相似系数（DSC），仅比2020年竞赛优胜的基于SE的U-Net低0.021。
• 在独立的HECKTOR测试集中，该模型取得了0.736的DSC、0.773的精确率和0.760的召回率，DSC与2020年优胜模型相比差距不超过0.023。
• 三种模型（UNETR、基于SE的U-Net、nnU-Net）生成的分割掩膜高度相似，大多数情况下仅存在微小差异。
• 失败案例主要归因于PET扫描中肿瘤对比度低、肿瘤尺寸小以及CT伪影（如牙科植入物引起的条纹伪影）。
• 模型对CT（用于解剖结构）和PET（用于强度差异）均表现出强烈依赖，表明多模态输入的重要性。
• 数据增强被证实对稳定训练和提升泛化能力至关重要，尤其是在缺乏自监督预训练的情况下。