[论文解读] MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model

Junde Wu, Fu, Rao+6 more|arXiv (Cornell University)|Nov 1, 2022

Brain Tumor Detection and Classification被引用 138

一句话总结

MedSegDiff 引入了一种用于通用医学影像分割的扩 diffusion 概率模型，采用动态条件编码和 FF-Parser 以提升逐步注意力并抑制高频噪声；在多模态下实现视杯分割、脑肿瘤分割和甲状腺结节分割的 SOTA。

ABSTRACT

Diffusion probabilistic model (DPM) recently becomes one of the hottest topic in computer vision. Its image generation application such as Imagen, Latent Diffusion Models and Stable Diffusion have shown impressive generation capabilities, which aroused extensive discussion in the community. Many recent studies also found it is useful in many other vision tasks, like image deblurring, super-resolution and anomaly detection. Inspired by the success of DPM, we propose the first DPM based model toward general medical image segmentation tasks, which we named MedSegDiff. In order to enhance the step-wise regional attention in DPM for the medical image segmentation, we propose dynamic conditional encoding, which establishes the state-adaptive conditions for each sampling step. We further propose Feature Frequency Parser (FF-Parser), to eliminate the negative effect of high-frequency noise component in this process. We verify MedSegDiff on three medical segmentation tasks with different image modalities, which are optic cup segmentation over fundus images, brain tumor segmentation over MRI images and thyroid nodule segmentation over ultrasound images. The experimental results show that MedSegDiff outperforms state-of-the-art (SOTA) methods with considerable performance gap, indicating the generalization and effectiveness of the proposed model. Our code is released at https://github.com/WuJunde/MedSegDiff.

研究动机与目标

• 以扩散概率模型 (DPM) 处理通用医学影像分割。
• 开发动态条件编码，在每个采样步骤中根据模糊/不确定的医学影像自适应模型。
• 引入 FF-Parser，在特征融合阶段缓解高频噪声。
• 展示在多模态（眼底、MRI、超声）及多器官/区域上的泛化能力。
• 给出强有力的实证结果，在三项分割任务上超越 SOTA。

提出的方法

• 将模型基于扩散概率框架，配备一个 UNet 风格的去噪器，其条件为图像先验和当前步的分割。
• 通过在多尺度将当前步的分割特征与原始图像特征融合，使用类似注意力的融合机制，引入动态条件编码。
• 提出 FF-Parser，在多尺度集成的跳跃连接中于傅里叶域滤除高频噪声。
• 使用标准的 DPM 目标函数进行训练，并采用 AdamW 进行端到端优化；兼容具有不同模态的多任务数据集。
• 在 optic cup（fundus）、脑肿瘤（MRI）和甲状腺结节（超声）上，以 Dice 和 IoU 指标进行评估。
• 与 SOTA 的 CNN/ViT 及扩散基线进行比较，包括 ResUNet、BEAL、TransBTS、EnsemDiff、nnUNet 和 TransUNet。

实验结果

研究问题

• RQ1 是否可以将 DPM 有效应用于跨多模态的通用医学影像分割？
• RQ2 动态条件化是否提升在模糊医学影像中的逐步注意力与定位？
• RQ3 FF-Parser 是否降低高频噪声并提升基于扩散的分割质量？
• RQ4 在不同模态下，MedSegDiff 在视杯、脑肿瘤与甲状腺结节分割方面相对于 SOTA 方法的表现如何？

主要发现

• MedSegDiff 的各变体在跨不同模态的三项任务上达到或接近 SOTA。
• 动态条件化在对比标准 DPM 时提供显著增益，尤于低对比度或区域定位场景。
• FF-Parser 通过在特征整合阶段抑制高频噪声进一步提升结果。
• MedSegDiff++ 达到最高的已报道指标：optic cup Dice 87.5, IoU 79.1; brain tumor Dice 90.5, IoU 82.8; thyroid nodule Dice 86.6, IoU 80.2。
• 相比 EnsemDiff（基于 DPM 的脑肿瘤方法），MedSegDiff 在脑肿瘈与其他任务上在 Dice 和 IoU 方面显示出显著提升。
• 结果表明 MedSegDiff 在不同医学影像模态之间具备强泛化能力。