[论文解读] Domain Adaptive Medical Image Segmentation via Adversarial Learning of Disease-Specific Spatial Patterns

Hongwei Li, Timo Loehr+4 more|arXiv (Cornell University)|Jan 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 8

一句话总结

本文提出了一种用于医学图像分割的无监督域自适应框架，通过利用少量无标签的目标域图像对抗性地学习与疾病相关的空间模式，从而提升模型在不同域之间的泛化能力。通过引入语义感知和边界感知层，并提出两种新型指标以在无真实标签的情况下监控域自适应过程，该方法在跨中心脑部病变分割任务中实现了显著的性能提升，同时有效防止了过拟合。

ABSTRACT

In medical imaging, the heterogeneity of multi-centre data impedes the applicability of deep learning-based methods and results in significant performance degradation when applying models in an unseen data domain, e.g. a new centreor a new scanner. In this paper, we propose an unsupervised domain adaptation framework for boosting image segmentation performance across multiple domains without using any manual annotations from the new target domains, but by re-calibrating the networks on few images from the target domain. To achieve this, we enforce architectures to be adaptive to new data by rejecting improbable segmentation patterns and implicitly learning through semantic and boundary information, thus to capture disease-specific spatial patterns in an adversarial optimization. The adaptation process needs continuous monitoring, however, as we cannot assume the presence of ground-truth masks for the target domain, we propose two new metrics to monitor the adaptation process, and strategies to train the segmentation algorithm in a stable fashion. We build upon well-established 2D and 3D architectures and perform extensive experiments on three cross-centre brain lesion segmentation tasks, involving multicentre public and in-house datasets. We demonstrate that recalibrating the deep networks on a few unlabeled images from the target domain improves the segmentation accuracy significantly.

研究动机与目标

• 解决多中心医学影像中的域偏移问题，即由于扫描仪和协议差异导致深度学习模型性能下降。
• 实现在目标域无须人工标注的情况下进行无监督域自适应分割。
• 在通过少量样本实现少样本微调的同时，保持源域的性能，并提升对新未见域的泛化能力。
• 在目标域无真实标签的情况下，开发可靠的训练监控机制以支持无监督域自适应（UDA）训练。

提出的方法

• 引入语义感知和边界感知层，将与疾病相关的空间模式编码到特征分布中。
• 采用对抗性训练方法对齐源域与目标域的空间模式分布，从而提升域泛化能力。
• 使用分割判别器强制生成真实且一致的预测结果，减少过拟合风险。
• 提出两种新型指标——预测结果的方差与差异，用于在无真实标签的情况下监控UDA训练过程的收敛性。
• 在少量无标签的目标域图像上微调预训练的分割网络（2D与3D架构），以重新校准模型。
• 通过t-SNE可视化特征分布，以解释域自适应后病变与非病变特征可分性的提升。

实验结果

研究问题

• RQ1 在无目标域真实标签的情况下，对抗性学习疾病特异性空间模式是否能有效提升不同成像域之间的分割性能？
• RQ2 当目标域无真实标签时，如何有效监控并稳定无监督域自适应过程？
• RQ3 语义感知与边界感知层在多大程度上增强了模型学习域不变空间模式的能力？
• RQ4 所提方法是否能在提升目标域性能的同时，避免在源域发生过拟合？
• RQ5 预测结果的方差与差异是否可作为UDA训练可靠的停止准则？

主要发现

• 当所有组件均被使用时，该方法在跨中心脑部病变分割任务中显著提升了Dice分数，在Utrecht + Amsterdam → Singapore任务中达到73.9%的Dice分数。
• 消融实验表明，引入边缘图与反向图相比仅使用掩码，Dice分数提升了6.8%。
• 方差与差异指标能有效识别最优停止点（第255个epoch），此时目标域性能接近全局最大值。
• 特征可视化结果表明，域自适应后病变与非病变特征的可分性明显增强，表明特征判别能力得到提升。
• 模型在源域上保持了稳定的性能，且未出现过拟合现象，验证指标在整个训练过程中保持一致。
• 该方法在2D与3D架构上均表现出良好的泛化能力，证明其在不同网络设计下的鲁棒性与可迁移性。