[论文解读] Brain MRI super-resolution using 3D generative adversarial networks

Irina Sánchez, Verónica Vilaplana|arXiv (Cornell University)|Dec 29, 2018

Advanced Image Processing Techniques参考文献 11被引用 44

一句话总结

该论文提出一种基于3D GAN的高分辨率3D MRI体积生成方法（SRGAN启发），探讨三种上采样策略，并使用对抗与内容损失的组合来提升真实感与锐度。

ABSTRACT

In this work we propose an adversarial learning approach to generate high resolution MRI scans from low resolution images. The architecture, based on the SRGAN model, adopts 3D convolutions to exploit volumetric information. For the discriminator, the adversarial loss uses least squares in order to stabilize the training. For the generator, the loss function is a combination of a least squares adversarial loss and a content term based on mean square error and image gradients in order to improve the quality of the generated images. We explore different solutions for the upsampling phase. We present promising results that improve classical interpolation, showing the potential of the approach for 3D medical imaging super-resolution. Source code available at https://github.com/imatge-upc/3D-GAN-superresolution

研究动机与目标

• 在硬件或协议限制下推动获得高分辨率MRI。
• 开发利用体积MRI信息的3D对抗框架。
• 在医学图像超分辨率中评估3D GAN内的不同上采样策略。
• 将对抗损失与内容和梯度项结合以提升图像质量。

提出的方法

• 在生成器和判别器中扩展 SRGAN 至 3D，使用3D卷积。
• 使用最小二乘 GAN (LSGAN) 损失来实现稳定性。
• 采用结合对抗项与内容损失（MSE + 梯度差异损失）的生成器损失。
• 研究三种上采样方法：resize-convolution、sub-pixel（像素混洗）以及一种缓解棋盘伪影的变体（Subpixel-NN）。
• 在来自 ADNI 的 T1 加权MRI体积的补丁上进行基于补丁的训练，考虑内存限制。

实验结果

研究问题

• RQ1 利用体积信息的3D GAN 是否能在3D MRI超分辨率中优于传统插值？
• RQ2 在3D MRI SR中，哪种上采样策略在感知质量与数值指标之间提供最佳权衡？
• RQ3 LS-GAN 损失和基于梯度的内容项如何影响生成体积的真实感和清晰度？
• RQ4 在下采样因子为2和4时，所提出方法的PSNR/SSIM 增益有多大？
• RQ5 在生成体积中是否存在对临床解释有显著影响的感知差异？

主要发现

• 基于3D GAN的方法在下采样因子2和4下，在PSNR和SSIM上均优于三次样条插值。
• 在上采样策略中，resize-convolution 在 x2 和 x4 上提供最佳的SSIM（感知质量），而 sub-pixel 变体达到有竞争力的 PSNR。
• Subpixel-NN 可减少棋盘伪影并保持有竞争力的 PSNR，SSIM 接近竞争方法。
• 在 x4 下采样时，平均 PSNR 值最高的分别是 Resize Convolution 和 Subpixel-NN（33.33 和 33.58，分别）以及相应的 SSIM（0.9688 和 0.9770）。
• 结果表明在3D医学影像超分辨率方面具有潜力，感知质量优于经典方法，尤其是在较高下采样因子时。