[论文解读] Deep Generative Adversarial Networks for Compressed Sensing Automates MRI

Morteza Mardani, Enhao Gong+9 more|arXiv (Cornell University)|May 31, 2017

Advanced Image Processing Techniques参考文献 17被引用 131

一句话总结

GANCS 使用生成器–判别器GAN，在历史 MRI 数据上训练，从欠采样的 k-space 重建诊断质量高的 MRI 图像，实现实时速度，质量优于传统 CS 方法。

ABSTRACT

Magnetic resonance image (MRI) reconstruction is a severely ill-posed linear inverse task demanding time and resource intensive computations that can substantially trade off {\it accuracy} for {\it speed} in real-time imaging. In addition, state-of-the-art compressed sensing (CS) analytics are not cognizant of the image {\it diagnostic quality}. To cope with these challenges we put forth a novel CS framework that permeates benefits from generative adversarial networks (GAN) to train a (low-dimensional) manifold of diagnostic-quality MR images from historical patients. Leveraging a mixture of least-squares (LS) GANs and pixel-wise $\ell_1$ cost, a deep residual network with skip connections is trained as the generator that learns to remove the {\it aliasing} artifacts by projecting onto the manifold. LSGAN learns the texture details, while $\ell_1$ controls the high-frequency noise. A multilayer convolutional neural network is then jointly trained based on diagnostic quality images to discriminate the projection quality. The test phase performs feed-forward propagation over the generator network that demands a very low computational overhead. Extensive evaluations are performed on a large contrast-enhanced MR dataset of pediatric patients. In particular, images rated based on expert radiologists corroborate that GANCS retrieves high contrast images with detailed texture relative to conventional CS, and pixel-wise schemes. In addition, it offers reconstruction under a few milliseconds, two orders of magnitude faster than state-of-the-art CS-MRI schemes.

研究动机与目标

• 通过解决欠采样下的病态反问题，推动实时MRI重建。
• 使用 GAN 从历史数据学习诊断质量的低维流形。
• 在将混叠图像投射到学习到的流形时，确保数据一致性。
• 提供快速、非迭代的重建流程，适用于实时成像。

提出的方法

• 训练一个生成器 G，将混叠的 MRI（逆傅里叶变换自欠采样的 k-space）映射到诊断质量流形，使用带跳跃连接的深度残差网络。
• 训练一个判别器 D，使用多层卷积神经网络对图像进行诊断质量评分。
• 将 LS GAN 目标结合一个 l1 像素级项，以在抑制噪声的同时恢复高频纹理（LS 损失与 l1 的混合）。
• 在残差块框架内，通过软/迭代投影引入数据一致性投影，使 G 的输出更符合 y ≈ Φx。
• 在训练过程中使用随机交替最小化，在小批量上交替更新 D 和 G。

实验结果

研究问题

• RQ1 GANCS 学到的感知损失在图像质量方面与逐像素的 l1/l2 成本相比有何不同？
• RQ2 相比传统 CS MRI，GANCS 能否在不牺牲诊断质量的前提下实现更快的重建？
• RQ3 网络学习了哪些 MRI 流形的图像特征来表示并抑制别名伪影？
• RQ4 达到合理重建质量需要多少训练样本？

主要发现

方案	SNR (dB)	SSIM	重建时间 (s)
ZF	15.28	0.72	0.0005
CS-WV	20.74	0.88	5.27
CS-TV	21.33	0.87	1.51
l2-net	18.96	0.81	0.02
l1-net	18.64	0.79	0.02
GAN	16.6	0.78	0.02
GANCS	20.48	0.87	0.02

• GANCS 实现高对比、纹理丰富的重建，保留细微结构，优于 CS-WV、CS-TV 和 l2/l1 网络。
• GANCS 重建时间约 10 毫秒，实现实时性能（约 100 帧/秒）。
• GANCS 产出的诊断质量图像被专家放射科医生评为接近 gold-standard，感知指标上优于传统 CS。
• 与标准 CS 工具箱相比，GANCS 在显著加速的同时保持或提升感知质量和纹理细节。
• GANCS 通过 GANs 学习的流形和数据一致性投影来平衡去伪影与对测量的忠实度。