[论文解读] Domain and Content Adaptive Convolution for Domain Generalization in Medical Image Segmentation.

Shishuai Hu, Zehui Liao+2 more|arXiv (Cornell University)|Sep 13, 2021

COVID-19 diagnosis using AI参考文献 32被引用 8

一句话总结

该论文提出了一种新型的多源域自适应域泛化模型——领域与内容自适应卷积（DCAC），用于医学图像分割。该模型能够动态地根据领域特征和输入图像内容自适应调整卷积操作。通过将领域自适应（DAC）模块与内容自适应（CAC）模块集成到编码器-解码器架构中，DCAC在前列腺、COVID-19病灶以及视盘/视杯分割任务中均取得了当前最优的性能表现，优于基线方法及四种SOTA域泛化方法。

ABSTRACT

The domain gap caused mainly by variable medical image quality renders a major obstacle on the path between training a segmentation model in the lab and applying the trained model to unseen clinical data. To address this issue, domain generalization methods have been proposed, which however usually use static convolutions and are less flexible. In this paper, we propose a multi-source domain generalization model, namely domain and content adaptive convolution (DCAC), for medical image segmentation. Specifically, we design the domain adaptive convolution (DAC) module and content adaptive convolution (CAC) module and incorporate both into an encoder-decoder backbone. In the DAC module, a dynamic convolutional head is conditioned on the predicted domain code of the input to make our model adapt to the unseen target domain. In the CAC module, a dynamic convolutional head is conditioned on the global image features to make our model adapt to the test image. We evaluated the DCAC model against the baseline and four state-of-the-art domain generalization methods on the prostate segmentation, COVID-19 lesion segmentation, and optic cup/optic disc segmentation tasks. Our results indicate that the proposed DCAC model outperforms all competing methods on each segmentation task, and also demonstrate the effectiveness of the DAC and CAC modules.

研究动机与目标

• 为解决因不同临床扫描仪和扫描协议导致的医学图像质量差异所引发的领域差距问题。
• 克服现有域泛化方法中静态卷积层缺乏灵活性、难以适应未见领域的问题。
• 开发一种能够同时适应领域特异性特征和内容特异性特征的动态卷积机制。
• 通过自适应特征学习，学习领域不变表示，从而提升模型在未见临床数据上的泛化能力。
• 在包含多种领域偏移的多个医学图像分割基准上验证所提方法的有效性。

提出的方法

• DCAC模型将两种动态卷积模块——领域自适应卷积（DAC）和内容自适应卷积（CAC）——集成到编码器-解码器分割主干网络中。
• DAC模块利用基于输入图像预测的领域代码的动态卷积头，以适应未见的目标领域。
• CAC模块采用基于全局图像特征的动态卷积头，以在推理过程中适应输入内容的变化。
• 模型通过多源域泛化损失进行端到端训练，实现领域与内容自适应的联合优化。
• 领域代码通过输入特征使用领域分类器头进行预测，从而指导卷积滤波器的动态路由。
• 动态卷积头基于领域和内容嵌入生成滤波器权重，实现灵活且上下文感知的特征学习。

实验结果

研究问题

• RQ1 是否能够通过统一的模型架构，动态适应医学图像中的领域特异性和内容特异性变化，从而提升域泛化能力？
• RQ2 所提出的DCAC模型在处理未见临床成像领域时，相较于静态卷积和现有域泛化方法表现如何？
• RQ3 DAC和CAC模块在跨域医学图像分割中的性能提升中分别起到了多大程度的贡献？
• RQ4 当在具有显著领域偏移的多个医学成像任务上测试时，模型是否仍保持鲁棒性？
• RQ5 该动态自适应机制是否能在多样化的成像协议和质量水平下有效泛化？

主要发现

• DCAC模型在所有三项评估任务中均取得了当前最优性能：前列腺分割、COVID-19病灶分割以及视杯/视盘分割。
• 所提方法在所有分割基准上均优于基线方法及四种SOTA域泛化方法。
• 消融实验表明，DAC与CAC模块均对性能提升有显著贡献，其中DAC在领域偏移适应中起关键作用。
• 模型在未见临床领域中表现出强大的泛化能力，表明其成功学习了领域不变表示。
• 动态卷积机制通过同时适应领域和内容特征，实现了更优的特征学习，从而在领域偏移条件下提升了分割精度。