[论文解读] Data Efficient Unsupervised Domain Adaptation for Cross-Modality Image Segmentation

Cheng Ouyang, Konstantinos Kamnitsas+3 more|arXiv (Cornell University)|Jul 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 17被引用 7

一句话总结

本文提出了一种数据高效的无监督域自适应方法，用于跨模态医学图像分割，结合基于变分自编码器（VAE）的先验匹配与域对抗训练。通过强制源域和目标域特征分布匹配标准正态先验，该方法仅使用一个未标注的3D CT扫描即实现了最先进性能，优于以往需要完整目标数据集的方法。

ABSTRACT

Deep learning models trained on medical images from a source domain (e.g. imaging modality) often fail when deployed on images from a different target domain, despite imaging common anatomical structures. Deep unsupervised domain adaptation (UDA) aims to improve the performance of a deep neural network model on a target domain, using solely unlabelled target domain data and labelled source domain data. However, current state-of-the-art methods exhibit reduced performance when target data is scarce. In this work, we introduce a new data efficient UDA method for multi-domain medical image segmentation. The proposed method combines a novel VAE-based feature prior matching, which is data-efficient, and domain adversarial training to learn a shared domain-invariant latent space which is exploited during segmentation. Our method is evaluated on a public multi-modality cardiac image segmentation dataset by adapting from the labelled source domain (3D MRI) to the unlabelled target domain (3D CT). We show that by using only one single unlabelled 3D CT scan, the proposed architecture outperforms the state-of-the-art in the same setting. Finally, we perform ablation studies on prior matching and domain adversarial training to shed light on the theoretical grounding of the proposed method.

研究动机与目标

• 解决在仅有少量未标注目标扫描可用时，无监督域自适应在医学图像分割中的挑战。
• 克服现有域对抗方法在目标数据稀缺时性能下降的局限性。
• 引入一种数据高效的先验正则化机制，以在极少目标数据下稳定训练并提升泛化能力。
• 证明基于VAE的特征先验匹配在低数据环境下可作为直接域分布匹配的稳健替代方案。
• 在仅使用极少目标数据的情况下，实现跨模态心脏MRI到CT自适应的优越分割性能。

提出的方法

• 结合变分自编码器（VAE）与域对抗训练，以学习用于分割的共享域不变潜在空间。
• 通过KL散度正则化，强制源域和目标域特征的后验分布匹配固定先验分布𝒩(0, I)。
• 利用VAE的解析KL散度估计先验匹配损失，而无需依赖大量目标数据。
• 直接在VAE学习的潜在空间中进行分割，以利用先验正则化且解耦的特征。
• 应用域对抗训练，通过域判别器对齐潜在空间中源域和目标域的特征分布。
• 端到端联合训练分割头，结合重建损失与对抗损失，以提升特征质量与泛化能力。

实验结果

研究问题

• RQ1 在目标数据极度有限的情况下，基于VAE的先验匹配是否能提升无监督域自适应的性能？
• RQ2 在低数据设置下的跨模态分割中，先验匹配与标准域对抗训练相比表现如何？
• RQ3 强制特征分布匹配标准正态先验是否能在数据稀缺条件下增强模型鲁棒性与收敛性？
• RQ4 VAE先验正则化与域对抗训练的结合是否能超越使用完整目标数据集的最先进方法？
• RQ5 先验匹配对少样本无监督域自适应场景中模型泛化能力与过拟合的影响如何？

主要发现

• 仅使用一个未标注目标扫描，该方法在3D心脏CT分割上实现了72.18%的平均Dice分数，显著优于未适应基线（20.03%）及相同低数据设置下的先前最先进方法。
• 仅使用一个目标扫描，该方法的表现即超过当前最先进方法SIFA，后者需使用全部16个目标扫描才能达到相近性能。
• 消融实验表明，若移除先验匹配或域对抗训练，将导致模型崩溃，平均Dice分数降至55%以下，表明两个组件对模型稳定性均至关重要。
• 该方法在少样本场景下泛化能力良好：仅使用目标扫描中三个连续的2D切片，通过早停策略即可获得超过60%的平均Dice分数。
• 定性结果表明，即使在目标数据极少的情况下，预测的分割掩膜在视觉上也与真实标签非常接近。
• 基于VAE的先验正则化为直接分布匹配提供了一种高效的数据替代方案，可在目标数据稀缺时实现稳定训练。