[论文解读] How Can We Make GAN Perform Better in Single Medical Image Super-Resolution? A Lesion Focused Multi-Scale Approach

Jin Zhu, Guang Yang+1 more|arXiv (Cornell University)|Jan 10, 2019

Advanced Image Processing Techniques参考文献 23被引用 12

一句话总结

本文提出了一种病变聚焦的多尺度生成对抗网络（LFSR-MS-GAN），用于脑肿瘤MRI的单张医学图像超分辨率，通过聚焦病变区域并采用先进的生成对抗网络架构，提升了感知质量和稳定性。该方法在平均意见得分（MOS）达到3.26±0.626时表现出优越的感知质量，接近真实图像，同时减少了伪影并保留了关键病变细节。

ABSTRACT

Single image super-resolution (SISR) is of great importance as a low-level computer vision task. The fast development of Generative Adversarial Network (GAN) based deep learning architectures realises an efficient and effective SISR to boost the spatial resolution of natural images captured by digital cameras. However, the SISR for medical images is still a very challenging problem. This is due to (1) compared to natural images, in general, medical images have lower signal to noise ratios, (2) GAN based models pre-trained on natural images may synthesise unrealistic patterns in medical images which could affect the clinical interpretation and diagnosis, and (3) the vanilla GAN architecture may suffer from unstable training and collapse mode that can also affect the SISR results. In this paper, we propose a novel lesion focused SR (LFSR) method, which incorporates GAN to achieve perceptually realistic SISR results for brain tumour MRI images. More importantly, we test and make comparison using recently developed GAN variations, e.g., Wasserstein GAN (WGAN) and WGAN with Gradient Penalty (WGAN-GP), and propose a novel multi-scale GAN (MS-GAN), to achieve a more stabilised and efficient training and improved perceptual quality of the super-resolved results. Based on both quantitative evaluations and our designed mean opinion score, the proposed LFSR coupled with MS-GAN has performed better in terms of both perceptual quality and efficiency.

研究动机与目标

• 为解决从低分辨率脑肿瘤MRI扫描生成逼真、无伪影的超分辨率医学图像的挑战。
• 克服标准生成对抗网络在医学影像中应用的局限性，包括训练不稳定、模式崩溃以及生成不真实的纹理。
• 通过在超分辨率过程中将网络注意力集中于病变区域，提升感知质量和诊断相关性。
• 评估并比较不同生成对抗网络变体（原始生成对抗网络、WGAN、WGAN-GP以及一种新型MS-GAN）在医学图像超分辨率中的表现。
• 引入结合专家放射科医生判断的平均意见得分（MOS），以更准确地评估临床相关性，超越传统指标PSNR/SSIM。

提出的方法

• 使用病变检测网络（LD）识别并定位低分辨率MRI扫描中的肿瘤区域。
• 病变聚焦超分辨率（LFSR）框架通过约束生成器优先保证病变区域的重建保真度，模拟放射科医生的关注方式。
• 提出一种新型多尺度生成对抗网络（MS-GAN）架构，结合跳跃连接和跨尺度的多层级特征学习，以增强纹理和边缘恢复能力。
• MS-GAN采用对抗损失、感知损失（基于VGG）以及均方误差（MSE）损失，以平衡真实感、细节表现和重建保真度。
• 评估Wasserstein生成对抗网络（WGAN）和带梯度惩罚的WGAN-GP作为原始生成对抗网络的替代方案，以提升训练稳定性和样本质量。
• 生成器通过端到端训练，判别器负责区分真实高分辨率图像与生成的超分辨率输出，同时使用梯度惩罚以强制满足Lipschitz连续性。

实验结果

研究问题

• RQ1 病变聚焦方法是否能提升超分辨率脑肿瘤MRI图像的感知质量和诊断相关性？
• RQ2 在医学图像超分辨率中，WGAN和WGAN-GP相较于原始生成对抗网络在训练稳定性和感知质量方面表现如何？
• RQ3 与单尺度生成器相比，多尺度生成对抗网络架构是否能更有效地增强超分辨率医学图像的纹理和边缘细节？
• RQ4 结合专家意见的平均意见得分（MOS）是否能提供比传统指标（如PSNR和SSIM）更具临床意义的评估？
• RQ5 所提出的LFSR-MS-GAN方法是否能在提升信噪比的同时，减少病变区域中不真实特征的生成？

主要发现

• 所提出的LFSR-MS-GAN在平均意见得分（MOS）上达到最高值3.26±0.626，显著优于其他生成对抗网络变体，且接近真实图像的MOS（3.28±0.838）。
• WGAN-GP和WGAN在感知质量与MOS方面均优于原始生成对抗网络，其中WGAN-GP的MOS为3.10±0.686，WGAN为3.09±0.694。
• LFSR-MS-GAN方法有效减少了混叠伪影，并增强了病变边缘与纹理，如图4所示的视觉验证结果所示，即使在真实图像信噪比较低的情况下亦然。
• 尽管SRResNet在PSNR（27.2±1.96）和SSIM（0.806±0.0499）上表现最佳，但其过度平滑了病变细节，降低了诊断实用性，尽管定量指标表现强劲。
• MS-GAN的训练成本较高（422.2秒/轮次），高于SRResNet（229.6秒/轮次），但其收敛速度更快且感知效果更优，表明该方法在临床应用中具有有利的权衡。
• 本研究表明，仅依赖PSNR和SSIM不足以评估医学图像超分辨率，因为这些指标可能更青睐模糊但外观逼真的输出，而忽视了对诊断相关细节的保留。