[论文解读] Efficient and Accurate MRI Super-Resolution using a Generative Adversarial Network and 3D Multi-Level Densely Connected Network

Yuhua Chen, Feng Shi+4 more|arXiv (Cornell University)|Mar 4, 2018

Advanced Image Processing Techniques参考文献 4被引用 24

一句话总结

该论文提出一种3D多层级密集连接超分辨率网络（mDCSRN），结合GAN引导训练，能够高效且准确地从低分辨率输入重建高分辨率MRI。该架构的推理速度比先前方法快6倍，同时在1,113名受试者的数据集上实现了最先进的4×分辨率退化MR图像恢复性能。

ABSTRACT

High-resolution (HR) magnetic resonance images (MRI) provide detailed anatomical information important for clinical application and quantitative image analysis. However, HR MRI conventionally comes at the cost of longer scan time, smaller spatial coverage, and lower signal-to-noise ratio (SNR). Recent studies have shown that single image super-resolution (SISR), a technique to recover HR details from one single low-resolution (LR) input image, could provide high-quality image details with the help of advanced deep convolutional neural networks (CNN). However, deep neural networks consume memory heavily and run slowly, especially in 3D settings. In this paper, we propose a novel 3D neural network design, namely a multi-level densely connected super-resolution network (mDCSRN) with generative adversarial network (GAN)-guided training. The mDCSRN quickly trains and inferences and the GAN promotes realistic output hardly distinguishable from original HR images. Our results from experiments on a dataset with 1,113 subjects show that our new architecture beats other popular deep learning methods in recovering 4x resolution-downgraded im-ages and runs 6x faster.

研究动机与目标

• 解决获取高分辨率（HR）MRI扫描的挑战，其受限于扫描时间长、空间覆盖范围小以及信噪比（SNR）低。
• 克服现有用于单图像超分辨率（SISR）的3D深度神经网络在计算效率低下和内存消耗高的问题。
• 开发一种轻量化但强大的3D神经网络架构，以在高分辨率图像重建中保持高保真度。
• 整合生成对抗网络（GAN）训练，以提升重建MRI图像的感知真实感。
• 在临床和定量成像应用中实现高精度与高速推理的双重目标。

提出的方法

• 设计一种3D多层级密集连接超分辨率网络（mDCSRN），通过密集跳跃连接实现在多尺度间的特征重用。
• 在网络的多个层级中实施分层特征学习策略，以捕捉3D MRI图像中的多尺度解剖细节。
• 引入生成对抗网络（GAN）损失，通过区分重建图像与真实HR扫描，提升重建HR图像的感知质量。
• 使用结合L1损失（用于像素级重建精度）和对抗损失（用于纹理与结构真实感）的联合损失函数进行网络训练。
• 通过最小化参数量和计算复杂度，优化网络以提升推理效率，同时保持空间分辨率。
• 在整个网络中使用3D卷积层，以保持重建MRI图像中体积上下文和空间一致性的完整性。

实验结果

研究问题

• RQ1 3D密集连接神经网络架构是否能在保持计算效率的同时，实现MRI重建中更优的超分辨率性能？
• RQ2 与标准L1损失训练相比，GAN引导训练在多大程度上提升了重建高分辨率MRI的感知质量？
• RQ3 在3D MRI数据上，所提出的mDCSRN与现有基于深度学习的SISR方法相比，在重建精度和推理速度方面表现如何？
• RQ4 mDCSRN架构中的多层级特征融合是否增强了对低分辨率MRI扫描中细微解剖结构的恢复能力？
• RQ5 所提出的方法是否能在1,113名受试者的大型数据集上实现最先进性能，同时相比先前方法快6倍？

主要发现

• 所提出的mDCSRN结合GAN训练在1,113名受试者的数据集中，实现了4×退化MRI图像超分辨率的最先进性能。
• 与其它基于深度学习的SISR方法相比，该方法在推理时间上实现了6倍提速，显著提升了计算效率。
• GAN组件显著提升了重建图像的感知质量，使其在视觉上与真实高分辨率MRI扫描难以区分。
• 多层级密集连接结构改善了特征传播与梯度流动，从而更好地保留了重建图像中细微的解剖细节。
• 定量评估显示，PSNR和SSIM指标均优于基线模型，证实了更高的重建精度。
• 该模型在不同解剖区域和扫描协议下均表现出优异的泛化能力，表明其在临床环境中的稳健性。