[论文解读] Multi-Level Global Context Cross Consistency Model for Semi-Supervised Ultrasound Image Segmentation with Diffusion Model

Fenghe Tang, Jianrui Ding+3 more|arXiv (Cornell University)|May 16, 2023

Radiomics and Machine Learning in Medical Imaging被引用 14

一句话总结

论文介绍 MGCC，一个半监督框架，使用 Latent Diffusion Model 生成未标注超声图像，以及一个带多层全局上下文跨一致性的全卷积网络来提高分割。它在公开乳腺超声数据集 BUSI 和私有甲状腺超声数据集 TUS 上显示出性能提升。

ABSTRACT

Medical image segmentation is a critical step in computer-aided diagnosis, and convolutional neural networks are popular segmentation networks nowadays. However, the inherent local operation characteristics make it difficult to focus on the global contextual information of lesions with different positions, shapes, and sizes. Semi-supervised learning can be used to learn from both labeled and unlabeled samples, alleviating the burden of manual labeling. However, obtaining a large number of unlabeled images in medical scenarios remains challenging. To address these issues, we propose a Multi-level Global Context Cross-consistency (MGCC) framework that uses images generated by a Latent Diffusion Model (LDM) as unlabeled images for semi-supervised learning. The framework involves of two stages. In the first stage, a LDM is used to generate synthetic medical images, which reduces the workload of data annotation and addresses privacy concerns associated with collecting medical data. In the second stage, varying levels of global context noise perturbation are added to the input of the auxiliary decoder, and output consistency is maintained between decoders to improve the representation ability. Experiments conducted on open-source breast ultrasound and private thyroid ultrasound datasets demonstrate the effectiveness of our framework in bridging the probability distribution and the semantic representation of the medical image. Our approach enables the effective transfer of probability distribution knowledge to the segmentation network, resulting in improved segmentation accuracy. The code is available at https://github.com/FengheTan9/Multi-Level-Global-Context-Cross-Consistency.

研究动机与目标

• 通过利用通过 Latent Diffusion Model (LDM) 生成的合成未标注数据，解决标注超声数据有限的挑战。
• 将扩散概率分布知识与语义分割表示相结合，以提升模型的泛化能力。
• 引入带有多层全局上下文跨一致性的全卷积网络，以更好地捕捉超声图像中的全局信息。
• 使用多尺度注意门控和 ConvMixer 基于全局上下文模块来增强特征迁移和鲁棒性。
• 在开源乳腺超声数据集(BUSI)和私有甲状腺超声数据集(TUS)上评估该框架，并与最先进的 SSL 方法进行比较。

提出的方法

• 使用 Latent Diffusion Model 生成合成超声图像，从有标签和无标签的真实数据中创建未标注数据。
• 采用两阶段训练设置，其中共享编码器 feeding 到主解码器和具有不同全局上下文扰动的多个辅助解码器。
• 集成长度不同的 ConvMixer 模块以混合远处的空间位置并获得多层全局上下文信息。
• 在跳跃连接中引入多尺度注意门控，以在感受野内选择有信息的编码器特征。
• 使用带高斯暖启动计划的 supervise 组件对有标签数据进行监督损失，同时对无标签数据在主解码器与辅助解码器之间施加一致性损失。

实验结果

研究问题

• RQ1 扩散模型的合成数据能否提供对分割有用的扩散概率分布知识？
• RQ2 多层全局上下文跨一致性是否能提高对病变位置和形态变化的分割鲁棒性？
• RQ3 将基于 ConvMixer 的全局上下文与多尺度门控整合对半监督超声分割性能有何影响？
• RQ4 使用来自相似域与目标域的无标注数据对分割性能的影响如何？

主要发现

• 在 BUSI 和 TUS 的自域实验中，MGCC 在 IoU、Recall、Precision 和 F1 上均超越多种 SSL 基线。
• MGCC 在 BUSI 上用较少的有标注样本即可达到与全监督方法相竞争的性能。
• 通过 LDM 生成的无标注数据与 SSL 的结合，促进扩散概率知识向分割网络的迁移。
• 具有多层全局上下文扰动的辅助解码器及一致性训练，提升对多样形状病变的分割鲁棒性。
• 相似域的无标注数据实验可能由于域差导致性能下降，强调域对齐的重要性。