[论文解读] MRI Super-Resolution with GAN and 3D Multi-Level DenseNet: Smaller, Faster, and Better

Yuhua Chen, Anthony Christodoulou+4 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Image Processing Techniques参考文献 53被引用 31

一句话总结

引入轻量级的3D多层密集连接SR网络（mDCSRN）及其GAN引导版本（mDCSRN-GAN）用于 MRI 超分辨率，在大型 HCP 数据集上实现最先进的准确性，同时内存占用更低、速度更快。

ABSTRACT

High-resolution (HR) magnetic resonance imaging (MRI) provides detailed anatomical information that is critical for diagnosis in the clinical application. However, HR MRI typically comes at the cost of long scan time, small spatial coverage, and low signal-to-noise ratio (SNR). Recent studies showed that with a deep convolutional neural network (CNN), HR generic images could be recovered from low-resolution (LR) inputs via single image super-resolution (SISR) approaches. Additionally, previous works have shown that a deep 3D CNN can generate high-quality SR MRIs by using learned image priors. However, 3D CNN with deep structures, have a large number of parameters and are computationally expensive. In this paper, we propose a novel 3D CNN architecture, namely a multi-level densely connected super-resolution network (mDCSRN), which is light-weight, fast and accurate. We also show that with the generative adversarial network (GAN)-guided training, the mDCSRN-GAN provides appealing sharp SR images with rich texture details that are highly comparable with the referenced HR images. Our results from experiments on a large public dataset with 1,113 subjects showed that this new architecture outperformed other popular deep learning methods in recovering 4x resolution-downgraded images in both quality and speed.

研究动机与目标

• 从低分辨率输入中 motivating 高分辨率MRI 重建，以缓解长扫描时间与覆盖范围受限的问题。
• 开发一种内存高效、快速的3D CNN 架构，保留MRI SR的3D解剖细节。
• 通过引入基于GAN的训练来提升感知质量，恢复真实纹理。
• 在大型公开数据集上展示跨平台和扫描仪的鲁棒性与泛化能力。

提出的方法

• 提出基于DenseNet的3D多层密集连接SR网络（mDCSRN），具备多层密集连接和压缩模块以降低内存使用。
• 在每个DenseBlock前加入一个 bottleneck 1x1x1 压缩层，以平衡深度与宽度并减少参数。
• 在重建阶段采用直接特征融合，将所有DenseBlock输出通过1x1x1卷积进行融合，改善梯度流与效率。
• 训练一个mDCSRN-GAN，其中生成器为mDCSRN，判别器为基于WGAN-GP的网络，以提高SR结果的感知真实感。
• 使用结合L1强度损失和GAN对抗损失的损失函数进行优化（lambda = 0.1）。
• 通过在k空间模拟MRI下采样来生成LR-HR对，以评估SR性能。

实验结果

研究问题

• RQ1 一个内存高效的3D密集连接网络是否能够在LR输入下实现MRI的高质量4x SR？
• RQ2 GAN引导训练是否在不牺牲定量精度的前提下提升MRI SR的感知质量？
• RQ3 与基线3D SR网络相比，多层密集连接和压缩模块如何影响内存使用、速度和性能？
• RQ4 在大型公开数据集上，该方法是否对不同扫描仪和平台具备鲁棒性？

主要发现

PSNR	SSIM	NRMSE	#Parm	time(s)
NN	29.48 ± 0.81	0.8219 ± 0.0113	0.2007 ± 0.0071	N/A	N/A
Bicubic	30.30 ± 0.82	0.8420 ± 0.0105	0.1830 ± 0.0067	N/A	N/A
FSRCNN	34.33 ± 0.81	0.9207 ± 0.0062	0.1142 ± 0.0050	0.06M	15.57
SRResNet	36.09 ± 0.82	0.9425 ± 0.0052	0.0939 ± 0.0043	2.01M	107.16
SRDenseNet	35.93 ± 0.82	0.9413 ± 0.0052	0.0955 ± 0.0044	0.39M	17.95
b4u4k12	36.08 ± 0.82	0.9418 ± 0.0052	0.0935 ± 0.0044	0.23M	12.54
b6u4k12	36.31 ± 0.82	0.9438 ± 0.0051	0.0915 ± 0.0043	0.35M	19.60
b8u4k12	36.39 ± 0.82	0.9448 ± 0.0050	0.0906 ± 0.0043	0.49M	27.86

• mDCSRN在参数量显著减少、运行速度更快的情况下，达到与若干基线相当的PSNR/SSIM。
• 更深或更宽的配置可以提升性能，但一个内存受限的浅层mDCSRN在速度与准确性之间提供了有利的折中。
• mDCSRN-GAN 在感知上提供更锐利、纹理更丰富的SR图像，感知指标显示相较非GAN模型的视觉质量有提升。
• 在HCP数据集（1113 例）上，mDCSRN变体在定量指标（PSNR/SSIM/NRMSE）上优于插值和基于CNN的先前单图像SR模型，且运行更快。
• 直接特征融合的重建层在参数更少的情况下实现了与传统重建相似或更好的性能。
• GAN引导的训练在跨平台和跨扫描仪的鲁棒SR性能方面表现稳定。