[论文解读] Deep Symmetric Adaptation Network for Cross-modality Medical Image Segmentation

Xiaoting Han, Lei Qi+5 more|arXiv (Cornell University)|Jan 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用 4

一句话总结

本文提出了一种用于跨模态医学图像分割的深度对称自适应网络，通过在两个对称的翻译子网络中使用共享编码器和私有解码器，实现双向特征对齐。该方法通过在两个域的真实图像和翻译图像上联合训练，提升了分割性能，在心脏和BraTS数据集上实现了最先进结果，Dice分数达到78.50%。

ABSTRACT

Unsupervised domain adaptation (UDA) methods have shown their promising performance in the cross-modality medical image segmentation tasks. These typical methods usually utilize a translation network to transform images from the source domain to target domain or train the pixel-level classifier merely using translated source images and original target images. However, when there exists a large domain shift between source and target domains, we argue that this asymmetric structure could not fully eliminate the domain gap. In this paper, we present a novel deep symmetric architecture of UDA for medical image segmentation, which consists of a segmentation sub-network, and two symmetric source and target domain translation sub-networks. To be specific, based on two translation sub-networks, we introduce a bidirectional alignment scheme via a shared encoder and private decoders to simultaneously align features 1) from source to target domain and 2) from target to source domain, which helps effectively mitigate the discrepancy between domains. Furthermore, for the segmentation sub-network, we train a pixel-level classifier using not only original target images and translated source images, but also original source images and translated target images, which helps sufficiently leverage the semantic information from the images with different styles. Extensive experiments demonstrate that our method has remarkable advantages compared to the state-of-the-art methods in both cross-modality Cardiac and BraTS segmentation tasks.

研究动机与目标

• 解决不同医学影像模态（如MRI与CT）之间存在的大域偏移问题，该问题会降低分割性能。
• 克服依赖单向翻译或特征对齐的非对称无监督域自适应方法的局限性。
• 通过在源域和目标域之间对称地对齐特征，提升分割泛化能力。
• 利用两个域的真实图像和翻译图像，增强语义特征学习。
• 在跨模态医学图像分割任务中实现最先进性能。

提出的方法

• 提出一种对称架构，包含两个翻译子网络：一个将源域翻译到目标域，另一个将目标域翻译到源域，两者共享同一编码器。
• 使用共享编码器学习域不变特征，使用私有解码器通过重建损失学习域特定表示。
• 通过共享判别器在两个域中区分真实图像与生成图像，实施对抗性训练，确保语义一致性。
• 通过使用真实目标图像、翻译后的源图像、真实源图像和翻译后的目标图像来训练分割网络，以充分挖掘多风格语义信息。
• 通过端到端方式联合优化分割网络和翻译子网络，实现双向特征对齐。
• 为两个域使用共享判别器，以保持对抗性损失的一致性并提升特征泛化能力。

实验结果

研究问题

• RQ1 与非对称方法相比，通过双向翻译实现的对称域自适应是否能提升跨模态医学图像分割性能？
• RQ2 在源域和目标域的真实图像与翻译图像上进行联合训练，是否能增强语义特征学习并提高分割准确率？
• RQ3 在分割网络和翻译网络之间共享编码器，对域不变表示学习有何影响？
• RQ4 在翻译子网络中使用私有解码器与共享解码器相比，效果如何？
• RQ5 使用共享判别器在保持真实图像与生成图像之间语义一致性方面效果如何？

主要发现

• 所提方法在BraTS数据集上达到78.50%的Dice分数，优于最先进方法。
• 该方法将平均表面距离（ASD）降低至5.92，表明分割边界精度得到提升。
• 使用私有解码器相比共享解码器，Dice分数提高33.57个百分点（从44.93%提升至78.50%）。
• 与使用非共享编码器相比，共享编码器使Dice分数提高4.60个百分点。
• 与使用非共享判别器相比，共享判别器使Dice分数提高2.36个百分点。
• 该模型在Cardiac和BraTS两个数据集上均取得显著性能提升，证明了其在不同医学影像任务中的鲁棒性。