[论文解读] Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization

Ziqi Zhou, Lei Qi+3 more|arXiv (Cornell University)|Dec 21, 2021

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

该论文提出了一种用于跨模态医学图像分割的域泛化方法，通过风格增强和双归一化技术提升模型在不同成像模态间的鲁棒性。通过生成与源域相似和不相似的风格增强图像，并采用具有基于风格选择机制的独立批归一化路径，该方法在BraTS、Cardiac和Multi-Organ数据集上实现了最先进性能，尤其在存在较大域偏移的挑战性跨模态设置中表现优异。

ABSTRACT

For medical image segmentation, imagine if a model was only trained using MR images in source domain, how about its performance to directly segment CT images in target domain? This setting, namely generalizable cross-modality segmentation, owning its clinical potential, is much more challenging than other related settings, e.g., domain adaptation. To achieve this goal, we in this paper propose a novel dual-normalization model by leveraging the augmented source-similar and source-dissimilar images during our generalizable segmentation. To be specific, given a single source domain, aiming to simulate the possible appearance change in unseen target domains, we first utilize a nonlinear transformation to augment source-similar and source-dissimilar images. Then, to sufficiently exploit these two types of augmentations, our proposed dual-normalization based model employs a shared backbone yet independent batch normalization layer for separate normalization. Afterward, we put forward a style-based selection scheme to automatically choose the appropriate path in the test stage. Extensive experiments on three publicly available datasets, i.e., BraTS, Cross-Modality Cardiac, and Abdominal Multi-Organ datasets, have demonstrated that our method outperforms other state-of-the-art domain generalization methods. Code is available at https://github.com/zzzqzhou/Dual-Normalization.

研究动机与目标

• 为解决医学图像分割中的域偏移问题，特别是MRI与CT等成像模态之间存在的显著偏移。
• 开发一种域泛化方法，能够在训练期间不访问目标域数据的情况下泛化到未见的目标域。
• 提升模型在现实临床环境中面对目标域数据因隐私或数据稀缺而不可获取时的鲁棒性。
• 设计一种方法，有效利用相似和不相似的风格增强，以提升特征泛化能力。

提出的方法

• 使用Bézier曲线生成风格增强图像，将其划分为与源域相似和不相似的域，以模拟未见目标域的差异。
• 引入双归一化模块，共享主干网络但为与源域相似和不相似的增强特征分别设置独立的批归一化层。
• 采用风格嵌入网络提取两条归一化路径的特征统计量，实现在推理时的动态路径选择。
• 在测试时应用基于风格的路径选择机制，根据目标图像的风格嵌入选择最优归一化路径。
• 使用交叉熵损失和一致性损失进行端到端训练，以对齐不同增强视图下的预测结果。
• 采用单源域训练设置，实现无需微调即可直接部署于未见目标模态。

实验结果

研究问题

• RQ1 仅在单一源模态（如T2加权MRI）上进行训练的模型，能否在未见目标模态（如T1加权MRI或CT）上有效泛化，且无需访问目标数据？
• RQ2 风格增强如何有效模拟跨模态医学影像中观察到的外观差异？
• RQ3 与单路径或集成方法相比，为与源域相似和不相似的增强数据分别使用独立的双归一化路径是否能提升泛化性能？
• RQ4 基于风格的路径选择机制在推理时适应多样化目标域风格方面的有效性如何？
• RQ5 所提出方法是否能在具有挑战性的跨模态分割基准上超越现有的域泛化与域自适应方法？

主要发现

• 在BraTS数据集上，该方法在跨模态脑肿瘤分割任务中实现了50.1%的平均Dice分数，显著优于基线方法'DeepAll'（30.6%）和'DoFE'（40.0%）。
• 在跨模态心脏数据集上，该方法实现了84.2%的平均Dice分数，表明其对未见心脏MRI和CT扫描具有强大的泛化能力。
• 在腹部多器官数据集上，该方法实现了83.7%的平均Dice分数，证实其在不同解剖结构和成像对比度下的有效性。
• 消融实验证明，基于风格的路径选择机制提升了鲁棒性，优于单一路径和集成预测结果。
• 该方法在Bézier曲线控制点对数量（1–5）不同时均保持一致性能，表明其对增强超参数具有稳定性和不敏感性。
• 在跨中心前列腺分割任务中，该方法实现了84.19%的Dice分数，尽管其优化目标为跨模态泛化，但仍表现出具有竞争力的性能。