[论文解读] COSMOS: Cross-Modality Unsupervised Domain Adaptation for 3D Medical Image Segmentation based on Target-aware Domain Translation and Iterative Self-Training

Hyungseob Shin, Hyeongyu Kim+4 more|arXiv (Cornell University)|Mar 30, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

COSMOS 提出了一种用于 3D 医疗图像分割的跨模态无监督域自适应框架，通过目标感知域转换将标注的 T1 MRI 转换为伪 T2 MRI，同时保留关键解剖结构，随后通过迭代自训练来优化伪标签并提升分割性能。该方法在高分辨率 T2 MRI 上实现了 0.871 ± 0.063 的平均 Dice 分数（前庭神经鞘瘤）和 0.842 ± 0.020 的平均 Dice 分数（耳蜗），在 crossMoDA 挑战赛中获得第一名。

ABSTRACT

Recent advances in deep learning-based medical image segmentation studies achieve nearly human-level performance when in fully supervised condition. However, acquiring pixel-level expert annotations is extremely expensive and laborious in medical imaging fields. Unsupervised domain adaptation can alleviate this problem, which makes it possible to use annotated data in one imaging modality to train a network that can successfully perform segmentation on target imaging modality with no labels. In this work, we propose a self-training based unsupervised domain adaptation framework for 3D medical image segmentation named COSMOS and validate it with automatic segmentation of Vestibular Schwannoma (VS) and cochlea on high-resolution T2 Magnetic Resonance Images (MRI). Our target-aware contrast conversion network translates source domain annotated T1 MRI to pseudo T2 MRI to enable segmentation training on target domain, while preserving important anatomical features of interest in the converted images. Iterative self-training is followed to incorporate unlabeled data to training and incrementally improve the quality of pseudo-labels, thereby leading to improved performance of segmentation. COSMOS won the 1 extsuperscript{st} place in the Cross-Modality Domain Adaptation (crossMoDA) challenge held in conjunction with the 24th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2021). It achieves mean Dice score and Average Symmetric Surface Distance of 0.871(0.063) and 0.437(0.270) for VS, and 0.842(0.020) and 0.152(0.030) for cochlea.

研究动机与目标

• 通过在不同成像模态间实现域自适应，解决 3D 医疗图像分割中像素级标注的高成本与稀缺性问题。
• 通过仅使用 T1 MRI 的标注，在无需对比剂和长扫描时间的情况下实现在高分辨率 T2 MRI 上的分割，降低临床 MRI 对这些因素的依赖。
• 通过利用逐步优化的伪标签进行自训练，提升在未标注目标域 T2 MRI 上的分割性能。
• 在跨模态图像转换过程中，保留关键解剖结构（如前庭神经鞘瘤和耳蜗）的完整性。
• 开发一种可泛化的无监督 3D 分割框架，弥合不同 MRI 对比度之间的域差距。

提出的方法

• 目标感知域转换网络联合执行图像转换与分割，在 T1 到 T2 转换过程中保留前庭神经鞘瘤和耳蜗的精细解剖细节。
• 该方法采用在翻译过程中集成分割头的循环一致性生成对抗网络（Cycle-GAN），以指导结构保留。
• 通过将真实未标注的 T2 MRI 与翻译网络生成的伪标签图像相结合，应用迭代自训练，在多个训练周期中更新模型。
• 在伪标签生成过程中应用基于置信度的过滤策略，以排除低置信度预测，提升训练稳定性和标签质量。
• 框架在域转换与分割优化之间交替进行，分割头引导翻译网络聚焦于相关解剖特征。
• 采用两阶段训练流程，确保在分割前先优化域转换，后期阶段进行联合优化以增强特征对齐。

实验结果

研究问题

• RQ1 目标感知域转换能否有效将标注的 T1 MRI 转换为逼真的伪 T2 MRI，同时保留关键解剖结构以支持分割？
• RQ2 使用逐步优化的伪标签进行迭代自训练，是否能显著提升在未标注目标域 T2 MRI 上的分割性能？
• RQ3 在域转换过程中整合分割监督，对结构保留和分割精度有何影响？
• RQ4 所提出的方法是否能在跨模态 3D 医疗图像分割中超越现有无监督域自适应方法？
• RQ5 基于置信度的过滤策略对伪标签质量和下游分割性能有何影响？

主要发现

• 在高分辨率 T2 MRI 上，COSMOS 对前庭神经鞘瘤分割的平均 Dice 分数为 0.871 ± 0.063，平均对称表面距离（ASSD）为 0.437 ± 0.270。
• 对于耳蜗分割，COSMOS 的平均 Dice 分数为 0.842 ± 0.020，ASSD 为 0.152 ± 0.030，表现出高精度和表面匹配度。
• 该方法在 MICCAI 2021 的 crossMoDA 挑战赛中获得第一名，其 Dice 和 ASSD 指标均优于三项排名靠前的方法。
• 迭代自训练带来了分割性能的持续且渐进式提升，所有训练迭代中 Dice 和 ASSD 指标均稳步改善。
• 基于置信度的过滤策略有效减少了噪声伪标签，促进了稳定可靠的模型收敛。
• 消融实验证实，翻译与分割的联合优化，以及目标感知设计，显著提升了解剖结构保留和分割精度。