[论文解读] Domain Adaptation for the Segmentation of Confidential Medical Images

Serban Stan, Mohammad Rostami|arXiv (Cornell University)|Jan 2, 2021

COVID-19 diagnosis using AI被引用 4

一句话总结

该论文提出了一种新颖的无监督域自适应（UDA）方法，用于医学图像语义分割，该方法在自适应过程中无需访问源域数据，而是使用高斯混合模型（GMM）来编码源域的内部分布。该方法通过将目标域特征与学习到的源域分布对齐，在心脏和腹部MRI/CT分割任务中实现了具有竞争力的性能，优于需要同时访问源域和目标域数据的SOTA方法。

ABSTRACT

Convolutional neural networks (CNNs) have led to significant improvements in the semantic segmentation of images. When source and target datasets come from different modalities, CNN performance suffers due to domain shift. In such cases data annotation in the target domain becomes necessary to maintain model performance. To circumvent the re-annotation process, unsupervised domain adaptation (UDA) is proposed to adapt a model to new modalities using solely unlabeled target data. Common UDA algorithms require access to source domain data during adaptation, which may not be feasible in medical imaging due to data sharing restrictions. In this work, we develop an algorithm for UDA where the source domain data is inaccessible during target adaptation. Our approach is based on encoding the source domain information into an internal distribution that is used to guide adaptation in the absence of source samples. We demonstrate the effectiveness of our algorithm by comparing it to state-of-the-art medical image semantic segmentation approaches on two medical image semantic segmentation datasets.

研究动机与目标

• 解决由于成像模态差异（如MRI与CT）导致的医学图像分割中的域偏移问题，尤其在源数据因隐私或安全限制无法共享的情况下。
• 开发一种UDA框架，实现在推理或自适应过程中无需访问源域样本即可适应新目标域。
• 利用GMM学习并保留源域的内部分布，以指导目标域中的特征对齐。
• 在目标域医学图像上实现高分割精度，同时保持器官边界质量并最小化标签偏移。
• 证明通过学习到的源域分布实现的间接域对齐可达到甚至超过需要联合访问源域和目标域数据的方法的性能。

提出的方法

• 该方法在自适应前使用在源特征上训练的高斯混合模型（GMM）来估计源域的内部特征分布。
• 在自适应过程中，模型利用GMM通过最小化目标特征与GMM分量之间的距离，来引导源域与目标域之间的特征对齐。
• 使用源模型的高置信度预测来优化GMM，从而提高其对源分布的表征保真度。
• 自适应过程采用自监督的一致性损失和熵最小化，以优化无标签目标数据的预测。
• 每个类别使用多分量GMM（ω = 3被选为最优）来建模复杂的源分布，从而增强特征可分性。
• 框架使用UMAP可视化分析GMM嵌入质量，并验证不同置信度阈值（ρ = 0.97）下的类别可分性。

实验结果

研究问题

• RQ1 基于GMM的源域内部表征是否能有效引导无直接访问源数据的医学图像分割中的域自适应？
• RQ2 利用高置信度预测优化GMM对域对齐质量和分割性能有何影响？
• RQ3 每个类别的GMM分量数量在多大程度上影响分割精度和边界精度？
• RQ4 与需要联合访问源域和目标域数据的SOTA UDA方法相比，该方法在Dice分数和表面距离度量上的表现如何？
• RQ5 自适应过程中的标签偏移有何影响？是否导致分割性能提升或下降？

主要发现

• 在心脏MR到CT的域自适应任务中，该方法实现了81.3%的平均Dice分数，优于1-SFS基线方法（AA为86.2%，LAC为83.5%，LVC为75.4%，MYO为70.9%），并达到或超过需要访问源数据的SOTA方法的性能。
• 当ω = 3个GMM分量/类别时，与1-SFS基线相比，该方法在平均对称表面距离（ASSD）上降低了30%，表明边界定位能力得到提升。
• 标签偏移分析显示，超过20%的像素在自适应过程中发生类别迁移，但大多数迁移提升了分割精度，尤其是在LVC与MYO类别之间。
• 该方法在高置信度阈值ρ = 0.97下表现出鲁棒性，UMAP可视化显示GMM嵌入特征空间中类别可分性得到改善。
• 消融实验表明，每个类别使用超过一个GMM分量可提升性能，且在ω = 3后收益递减，因此选择ω = 3作为性能与复杂度的最优平衡。
• 在腹部器官数据集上，该方法将大多数类别的标签偏移降低至1%以下，且多数误分类像素被修正为'Ignore'或被正确重分配，表明具有强大的泛化能力。