[论文解读] Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation

Kelei He, Wen Ji+8 more|arXiv (Cornell University)|May 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用 4

一句话总结

本文提出了一种用于多模态磁共振成像（MRI）跨模态脑肿瘤分割的双向全局到局部无监督域自适应框架（BiGL）。通过双向联合生成图像并强制在特征表示中实现全局到局部的一致性，BiGL 显著提升了在 T1 和 T2 MRI 序列上的分割精度，在基准数据集上大幅超越了当前最先进方法。

ABSTRACT

Accurate segmentation of brain tumors from multi-modal Magnetic Resonance (MR) images is essential in brain tumor diagnosis and treatment. However, due to the existence of domain shifts among different modalities, the performance of networks decreases dramatically when training on one modality and performing on another, e.g., train on T1 image while performing on T2 image, which is often required in clinical applications. This also prohibits a network from being trained on labeled data and then transferred to unlabeled data from a different domain. To overcome this, unsupervised domain adaptation (UDA) methods provide effective solutions to alleviate the domain shift between labeled source data and unlabeled target data. In this paper, we propose a novel Bidirectional Global-to-Local (BiGL) adaptation framework under a UDA scheme. Specifically, a bidirectional image synthesis and segmentation module is proposed to segment the brain tumor using the intermediate data distributions generated for the two domains, which includes an image-to-image translator and a shared-weighted segmentation network. Further, a global-to-local consistency learning module is proposed to build robust representation alignments in an integrated way. Extensive experiments on a multi-modal brain MR benchmark dataset demonstrate that the proposed method outperforms several state-of-the-art unsupervised domain adaptation methods by a large margin, while a comprehensive ablation study validates the effectiveness of each key component. The implementation code of our method will be released at \url{https://github.com/KeleiHe/BiGL}.

研究动机与目标

• 解决在一种 MRI 模态上训练的模型在另一模态上测试时因域偏移（如从 T1 到 T2）导致的分割性能下降问题。
• 克服现有无监督域自适应（UDA）方法的局限性，如单向适应、特征对齐效率低下以及对肿瘤特异性结构变异处理不佳的问题。
• 开发一种灵活且可泛化的框架，仅使用标记的源模态数据即可实现在未标记目标模态数据上的高精度分割。
• 通过整合双向图像生成和多尺度、基于注意力的表示对齐，提升模型泛化能力。

提出的方法

• 引入一个双向图像到图像转换模块，为源域和目标域分别生成合成图像，以弥合域间差异。
• 采用共享权重的编码器-解码器分割网络，在原始图像和合成图像上预测肿瘤掩码，实现联合优化。
• 应用全局到局部一致性学习模块，利用注意力机制在全局和局部两个层面对齐跨域特征。
• 在图像转换分支中使用对抗性训练，以确保生成具有模态特异性的逼真图像。
• 引入注意力引导的特征对齐，聚焦于具有判别性的肿瘤区域，抑制无关背景特征。
• 在多个层级上强制原始图像与合成图像之间的一致性，以提升模型鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 在无监督域自适应设置下，MRI 模态之间的双向图像生成是否能提升跨模态肿瘤分割性能？
• RQ2 全局到局部的特征对齐如何增强在存在大域偏移的域之间表示的一致性与分割精度？
• RQ3 将注意力机制引入域自适应是否能提升模型在自适应过程中聚焦于肿瘤相关区域的能力？
• RQ4 在脑肿瘤和心脏亚结构数据集上，所提方法与当前最先进 UDA 方法相比，其分割性能如何？
• RQ5 该框架是否可泛化至其他 MRI 序列（如 T1 和 FLAIR）而无需重新训练？

主要发现

• 在 BraTS 2018 数据集上，BiGL 在 T1 到 T2 适应任务中实现了 10.9% 的平均 DSC，在 T2 到 T1 任务中实现了 5.4% 的平均 DSC，显著优于所有基线方法，包括 SIFA-TMI 和 Cycada。
• 在 MMWHS 数据集上的跨模态心脏亚结构分割任务中，BiGL 在 MR 到 CT 适应中实现了 75.3% 的 DSC 和 6.2 mm 的 ASD，AA 类别的 DSC 比 SIFA-TMI 提高了 6.4%。
• 与 SIFA-TMI 和 AdaptSegNet 相比，BiGL 将 ASD 降低了 1.5–2.0 mm，表明其轮廓预测更加精确。
• 消融实验验证了双向生成与全局到局部一致性学习对性能提升的必要性。
• 该方法在多种不同的模态对上表现出鲁棒性，可视化结果表明分割轮廓显著更接近真实标签。
• 代码已公开发布于 https://github.com/KeleiHe/BiGL，支持可复现性，并可扩展至其他医学影像任务。