[论文解读] COVID-19 CT Image Synthesis with a Conditional Generative Adversarial Network

Yifan Jiang, Han Chen+2 more|arXiv (Cornell University)|Jul 29, 2020

COVID-19 diagnosis using AI参考文献 51被引用 19

一句话总结

该论文提出一种带有全局-局部生成器和多分辨率判别器的条件生成对抗网络（cGAN），用于为医学AI训练生成高保真度的COVID-19 CT影像。该方法采用动态逐元素求和（DESUM）和动态特征匹配（DFM）机制，以平衡全局解剖结构与局部病灶细节，在分割任务中实现SOTA性能，FID为0.0327，Dice分数为89.19%。

ABSTRACT

Coronavirus disease 2019 (COVID-19) is an ongoing global pandemic that has spread rapidly since December 2019. Real-time reverse transcription polymerase chain reaction (rRT-PCR) and chest computed tomography (CT) imaging both play an important role in COVID-19 diagnosis. Chest CT imaging offers the benefits of quick reporting, a low cost, and high sensitivity for the detection of pulmonary infection. Recently, deep-learning-based computer vision methods have demonstrated great promise for use in medical imaging applications, including X-rays, magnetic resonance imaging, and CT imaging. However, training a deep-learning model requires large volumes of data, and medical staff faces a high risk when collecting COVID-19 CT data due to the high infectivity of the disease. Another issue is the lack of experts available for data labeling. In order to meet the data requirements for COVID-19 CT imaging, we propose a CT image synthesis approach based on a conditional generative adversarial network that can effectively generate high-quality and realistic COVID-19 CT images for use in deep-learning-based medical imaging tasks. Experimental results show that the proposed method outperforms other state-of-the-art image synthesis methods with the generated COVID-19 CT images and indicates promising for various machine learning applications including semantic segmentation and classification.

研究动机与目标

• 解决因高感染风险和专家标注负担导致的标注COVID-19 CT扫描数据稀缺问题。
• 通过生成逼真的合成CT影像，克服医学影像深度学习中的数据稀缺问题。
• 利用合成数据提升下游AI任务（如分割和分类）的泛化能力和性能。
• 开发一种鲁棒的生成模型，以同时保留全局解剖结构和细微的病理特征（例如，磨玻璃样变、实变）。
• 通过新型架构组件（如DESUM和DFM）稳定训练过程并提升图像质量。

提出的方法

• 引入双生成器结构：一个全局生成器用于解剖结构，一个局部生成器用于病灶细节，并通过动态逐元素求和（DESUM）平衡其输出。
• 采用多分辨率判别器，包含两个子判别器：一个处理全分辨率图像，另一个处理半分辨率图像，以捕捉多样化的空间细节。
• 在判别器中应用动态特征匹配（DFM），以自适应地加权不同分辨率下的损失贡献，提升训练稳定性和特征表示能力。
• 采用条件cGAN框架，其中输入条件为包含肺、磨玻璃样变和实变区域的肺部语义分割图。
• 结合对抗损失、感知损失和L1重建损失构建损失函数，以确保生成图像的真实感和与真实数据的高保真度。
• 通过优化超参数（如生成器和判别器数量，G=3，D=3）在性能、效率和训练稳定性之间取得平衡。

实验结果

研究问题

• RQ1 具有双生成器和多分辨率判别器的条件GAN能否生成既保留全局解剖结构又保留局部病理特征的逼真COVID-19 CT影像？
• RQ2 动态逐元素求和（DESUM）机制是否通过在图像生成过程中自适应平衡全局与局部特征来提升图像质量？
• RQ3 判别器中的动态特征匹配（DFM）机制能否增强训练稳定性并提升生成CT影像的真实感？
• RQ4 与SOTA图像生成模型相比，该方法在图像质量和下游分割性能方面表现如何？
• RQ5 在FID、PSNR和Dice分数方面，生成合成CT影像的最优生成器和判别器深度配置（G和D）是什么？

主要发现

• 所提方法实现Fréchet Inception Distance（FID）为0.0327，优于所有对比的SOTA方法，图像质量表现最优。
• 模型实现峰值信噪比（PSNR）为26.89，表明真实图像与合成图像之间具有高重建保真度。
• 在语义分割任务中，合成图像获得89.19% ± 0.24的Dice分数，证明其与下游医学AI任务具有强兼容性。
• 消融实验表明，移除DESUM会使Dice分数降至84.60% ± 0.39，证实其在特征融合平衡中的关键作用。
• 与固定权重基线相比，动态特征匹配（DFM）机制显著提升性能，FID从0.0381（无DFM）降至0.0327（含DFM）。
• 最优配置被确定为G=3个生成器和D=3个判别器，因组件数量过少或过多均导致性能下降（如G=1时FID为0.0604）。