[论文解读] Generalizable Medical Image Segmentation via Random Amplitude Mixup and Domain-Specific Image Restoration

Ziqi Zhou, Lei Qi+1 more|arXiv (Cornell University)|Aug 8, 2022

Medical Image Segmentation Techniques被引用 7

一句话总结

本文提出了一种新颖的医学图像分割领域泛化方法，结合随机振幅混合（RAM）与领域特定图像恢复（DSIR），以提升模型在多样化成像领域中的鲁棒性。通过基于傅里叶变换的振幅混合生成风格化图像，并训练自监督恢复头，该方法增强了特征泛化能力，在视网膜和前列腺图像分割基准上实现了最先进性能。

ABSTRACT

For medical image analysis, segmentation models trained on one or several domains lack generalization ability to unseen domains due to discrepancies between different data acquisition policies. We argue that the degeneration in segmentation performance is mainly attributed to overfitting to source domains and domain shift. To this end, we present a novel generalizable medical image segmentation method. To be specific, we design our approach as a multi-task paradigm by combining the segmentation model with a self-supervision domain-specific image restoration (DSIR) module for model regularization. We also design a random amplitude mixup (RAM) module, which incorporates low-level frequency information of different domain images to synthesize new images. To guide our model be resistant to domain shift, we introduce a semantic consistency loss. We demonstrate the performance of our method on two public generalizable segmentation benchmarks in medical images, which validates our method could achieve the state-of-the-art performance.

研究动机与目标

• 解决在有限源域上训练的医学图像分割模型因分布偏移而导致泛化能力差的挑战。
• 通过引入更强的模型正则化，克服对源域的过拟合及领域偏移问题。
• 在无需访问目标域数据的情况下，提升对未见目标域的鲁棒性。
• 开发一种自监督训练范式，通过图像重建与一致性损失增强领域不变特征学习。
• 在视网膜与前列腺图像分割的公开领域泛化基准上展示最先进性能。

提出的方法

• 引入随机振幅混合（RAM）模块，对来自两个不同领域图像的傅里叶变换振幅图进行提取，并组合生成具有混合领域特征的新风格化图像。
• 将RAM生成的图像用作数据增强，用于训练分割模型，从而增加训练分布的多样性。
• 实现一个自监督的领域特定图像恢复（DSIR）模块，从RAM增强图像中重建原始源域图像，以强制实现特征一致性与鲁棒性。
• 通过结合标准分割损失、真实图像与增强图像预测之间的语义一致性损失，以及DSIR模块的图像重建损失，联合训练分割模型。
• 应用语义一致性损失，最小化真实源图像与其RAM增强版本之间的预测差异，促进领域不变表示学习。
• 通过联合优化分割损失、一致性损失与重建损失，实现端到端的网络训练，以提升对未见领域的泛化能力。

实验结果

研究问题

• RQ1 随机振幅混合能否有效合成多样化、混合领域特征的图像，从而在不依赖目标域数据的情况下提升分割泛化能力？
• RQ2 引入自监督的领域特定图像恢复模块是否能增强医学图像分割中的特征鲁棒性与模型泛化能力？
• RQ3 语义一致性损失在减少领域偏移输入下的预测方差方面有多有效？
• RQ4 RAM与DSIR组件在未见目标领域上的医学图像分割任务中，其单独与联合作用对性能的提升程度如何？
• RQ5 所提出的方法在训练目标中对不同类型的语义一致性损失函数是否具有鲁棒性？

主要发现

• 所提出的RAM-DSIR方法在视网膜与前列腺图像分割的两个公开领域泛化基准上均实现了最先进性能。
• 消融实验表明，与基线相比，添加RAM模块使视网膜数据集的Dice分数提升2.12%，前列腺数据集提升3.23%。
• DSIR模块在视网膜与前列腺数据集上分别带来额外1.58%与1.03%的Dice分数提升。
• 语义一致性损失显著提升了泛化性能，其移除后在两个数据集上均出现一致的性能下降。
• 该方法对不同的一致性损失类型（MSE、JS-Div、KL-Div）具有鲁棒性，性能表现相近，其中KL-Div在视网膜数据集上取得最高的总体Dice分数88.94%。
• 包含所有组件的完整模型表现最佳，证实了RAM、DSIR与语义一致性损失在提升领域泛化能力方面具有互补作用。