[论文解读] Domain Adaptive Relational Reasoning for 3D Multi-Organ Segmentation

Shuhao Fu, Yongyi Lu+5 more|arXiv (Cornell University)|May 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用 15

一句话总结

本文提出了一种新型无监督域自适应方法——领域自适应关系推理（DARR），用于CT扫描中的3D多器官分割。DARR利用器官之间的空间关系（通过在图像块上求解拼图任务学习）以及超分辨率网络实现分辨率标准化和推理时自适应，无需在训练中使用任何目标域数据，在目标数据集上实现了Dice相似系数（DSC）平均提升29.6%。

ABSTRACT

In this paper, we present a novel unsupervised domain adaptation (UDA) method, named Domain Adaptive Relational Reasoning (DARR), to generalize 3D multi-organ segmentation models to medical data collected from different scanners and/or protocols (domains). Our method is inspired by the fact that the spatial relationship between internal structures in medical images is relatively fixed, e.g., a spleen is always located at the tail of a pancreas, which serves as a latent variable to transfer the knowledge shared across multiple domains. We formulate the spatial relationship by solving a jigsaw puzzle task, i.e., recovering a CT scan from its shuffled patches, and jointly train it with the organ segmentation task. To guarantee the transferability of the learned spatial relationship to multiple domains, we additionally introduce two schemes: 1) Employing a super-resolution network also jointly trained with the segmentation model to standardize medical images from different domain to a certain spatial resolution; 2) Adapting the spatial relationship for a test image by test-time jigsaw puzzle training. Experimental results show that our method improves the performance by 29.60% DSC on target datasets on average without using any data from the target domain during training.

研究动机与目标

• 解决在不同CT扫描仪或采集协议之间迁移模型时3D多器官分割性能显著下降的问题。
• 在不依赖目标域标注数据的情况下，提升模型对未见领域的泛化能力。
• 利用器官关系的固有空间一致性作为无监督域自适应的领域不变归纳偏置。
• 开发一种无需微调即可适应新领域的模型，支持在具有不同成像协议的临床机构中实际部署。

提出的方法

• 将器官的空间关系建模为拼图任务——通过重新排列打乱的3D图像块来重建CT扫描，以学习鲁棒且可迁移的空间先验。
• 将超分辨率网络与分割头和拼图求解头联合训练，以将来自不同领域的低分辨率输入标准化为统一分辨率。
• 在单个未标注的测试样本上应用推理时拼图训练，以在不重新训练的情况下适应目标领域的分布。
• 采用多任务学习框架，联合优化分割、拼图求解和超分辨率任务，以增强特征鲁棒性和关系泛化能力。
• 使用Jensen–Shannon散度验证不同数据集中器官位置分布的稳定性，支持将空间关系作为领域不变信号使用。

实验结果

研究问题

• RQ1 3D CT扫描中器官之间的空间关系能否作为无监督域自适应中多器官分割的稳健且领域不变的归纳偏置？
• RQ2 如何在不使用目标域标注数据的情况下，提升模型在多样化CT扫描仪和协议下的泛化能力？
• RQ3 通过拼图求解实现的推理时自适应能否提升模型在未见目标领域的性能？
• RQ4 联合使用超分辨率与关系推理在多大程度上能提升领域迁移下的特征学习与分割精度？

主要发现

• 与基线模型相比，DARR在五个公开目标数据集上实现了平均29.6%的Dice相似系数（DSC）提升，且训练过程中未使用任何目标域标注数据。
• VNET-SR变体在NIH胰腺数据集上单独实现了最高25.16%的DSC提升，证明了超分辨率在处理分辨率差异方面的有效性。
• VNET-Puzzle变体在MSD胰腺数据集上实现了最高31.70%的DSC提升，证实关系推理能增强特征学习。
• 完整DARR模型在MSD脾脏和NIH胰腺数据集上均实现了超过40%的DSC提升，优于下界基线，且优于SIFA和基于GAN的方法。
• 定性结果表明，DARR通过学习器官的空间构型，成功区分了左肾和右肾，而基线模型则无法做到。
• 消融实验表明，超分辨率模块与拼图求解模块均独立且协同地贡献于性能提升。