[论文解读] LeFusion: Controllable Pathology Synthesis via Lesion-Focused Diffusion Models

Hantao Zhang, Liu, Yuhe+5 more|arXiv (Cornell University)|Mar 21, 2024

Advanced MRI Techniques and Applications被引用 4

一句话总结

LeFusion 引入了病变聚焦的扩散模型，通过将扩散学习集中于病变区域，提升了心脏MRI病理合成效果，同时通过前向扩散上下文整合保留了背景结构完整性。该方法在合成数据增强方面达到最先进性能，在心肌梗死和无再流病变的DE-MRI中显著提升了nnUNet的分割准确率。

ABSTRACT

Patient data from real-world clinical practice often suffers from data scarcity and long-tail imbalances, leading to biased outcomes or algorithmic unfairness. This study addresses these challenges by generating lesion-containing image-segmentation pairs from lesion-free images. Previous efforts in medical imaging synthesis have struggled with separating lesion information from background, resulting in low-quality backgrounds and limited control over the synthetic output. Inspired by diffusion-based image inpainting, we propose LeFusion, a lesion-focused diffusion model. By redesigning the diffusion learning objectives to focus on lesion areas, we simplify the learning process and improve control over the output while preserving high-fidelity backgrounds by integrating forward-diffused background contexts into the reverse diffusion process. Additionally, we tackle two major challenges in lesion texture synthesis: 1) multi-peak and 2) multi-class lesions. We introduce two effective strategies: histogram-based texture control and multi-channel decomposition, enabling the controlled generation of high-quality lesions in difficult scenarios. Furthermore, we incorporate lesion mask diffusion, allowing control over lesion size, location, and boundary, thus increasing lesion diversity. Validated on 3D cardiac lesion MRI and lung nodule CT datasets, LeFusion-generated data significantly improves the performance of state-of-the-art segmentation models, including nnUNet and SwinUNETR. Code and model are available at https://github.com/M3DV/LeFusion.

研究动机与目标

• 为解决临床心脏MRI中的长尾数据不平衡与算法偏差问题，通过生成多样化、逼真的合成病理数据。
• 克服先前生成模型在合成病变时无法保持背景质量的局限性。
• 开发一种数据驱动、可控的方法，用于在DE-MRI中合成心肌梗死和持续性微血管阻塞。
• 联合建模多种病变类型，并生成多样化的病变掩码以提升数据增强效果。
• 通过最先进的模型（如nnUNet）验证该方法在提升下游分割性能方面的有效性。

提出的方法

• 重新设计扩散学习目标，仅聚焦于病变区域，降低复杂度并提升可控性。
• 将前向扩散的背景上下文整合到逆向扩散过程中，以保持正常解剖结构的保真度。
• 提出一种联合建模策略，利用多通道分解同时处理多种病变类型。
• 开发基于扩散的病变掩码生成模型，以提升合成数据中形状与纹理的多样性。
• 采用受RePaint启发的重绘式框架，但针对病变特异性学习与上下文保留进行了适配。
• 在Emidec DE-MRI心脏病变数据集上进行训练与评估，以nnUNet作为下游分割基准。

实验结果

研究问题

• RQ1 病变聚焦的扩散模型能否在保留背景解剖结构的前提下，生成高保真的心脏MRI心肌病理？
• RQ2 与联合背景-病变学习相比，将扩散学习聚焦于病变区域在可控性与合成质量方面有何提升？
• RQ3 联合建模多种病变类型（如心肌梗死与PMO）在多大程度上能增强数据多样性与下游分割性能？
• RQ4 与手工设计方法相比，学习得到的扩散模型生成的病变掩码能否产生更多样化且更逼真的形状？
• RQ5 LeFusion生成的合成数据能否有效提升nnUNet等最先进分割网络的性能？

主要发现

• LeFusion-J在PMO病变类别上取得了最高的Dice分数（88.7），优于LeFusion-S（85.2）和RePaint（83.1），证明其在联合病变建模方面表现更优。
• 在33×5份合成正常病例（N”）的增强下，MI的Dice分数提升至92.1，表明随着数据规模扩大，性能提升具有一致性。
• LeFusion-J在PSNR（28.4）和SSIM（0.91）方面均达到最高平均值，表明其图像质量与真实病理的结构相似性更优。
• 扩散生成的病变掩码在视觉上更接近真实掩码，且形状多样性优于手工设计的掩码。
• Cond-Diffusion与RePaint方法破坏了背景结构，导致Dice分数下降，尤其在PMO病变上更为明显。
• 通过LeFusion的掩码生成增强的合成数据显著提升了分割性能，证明了其在数据增强方面的有效性。