[论文解读] A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction

Jo Schlemper, José Caballero+3 more|arXiv (Cornell University)|Apr 8, 2017

Advanced MRI Techniques and Applications参考文献 35被引用 17

一句话总结

本文提出一种用于从使用笛卡尔采样方式的高度欠采样k空间数据中，对动态心脏MR图像进行重建的深度级联卷积神经网络（CNN）。通过集成数据一致性层并利用时空相关性，该方法实现了卓越的重建精度与速度——在10秒内完成完整动态序列的重建，单帧重建仅需23毫秒，优于最先进的压缩感知与字典学习方法，即使在11倍欠采样下也能忠实保留解剖结构。

ABSTRACT

Inspired by recent advances in deep learning, we propose a framework for reconstructing dynamic sequences of 2D cardiac magnetic resonance (MR) images from undersampled data using a deep cascade of convolutional neural networks (CNNs) to accelerate the data acquisition process. In particular, we address the case where data is acquired using aggressive Cartesian undersampling. Firstly, we show that when each 2D image frame is reconstructed independently, the proposed method outperforms state-of-the-art 2D compressed sensing approaches such as dictionary learning-based MR image reconstruction, in terms of reconstruction error and reconstruction speed. Secondly, when reconstructing the frames of the sequences jointly, we demonstrate that CNNs can learn spatio-temporal correlations efficiently by combining convolution and data sharing approaches. We show that the proposed method consistently outperforms state-of-the-art methods and is capable of preserving anatomical structure more faithfully up to 11-fold undersampling. Moreover, reconstruction is very fast: each complete dynamic sequence can be reconstructed in less than 10s and, for the 2D case, each image frame can be reconstructed in 23ms, enabling real-time applications.

研究动机与目标

• 通过实现高度加速的k空间采样，在保持图像质量的前提下加速动态心脏MRI扫描。
• 克服传统压缩感知与字典学习在处理极端欠采样时的局限性。
• 通过深度学习利用动态MRI序列中的时空冗余性。
• 开发一种快速、实时的重建框架，适用于临床部署。

提出的方法

• 采用深度级联架构，每一阶段交替进行卷积特征学习与数据一致性强制。
• 数据一致性层通过将当前重建结果投影回测量的k空间域，强制实现k空间一致性。
• 通过结合L2损失与数据一致性约束，端到端训练网络，以提升重建保真度。
• 通过在序列中跨帧共享特征，对时空相关性进行建模，实现联合重建。
• 在使用多种笛卡尔欠采样掩码的回顾性欠采样数据上进行训练，以提升泛化能力。
• 应用大量数据增强以防止过拟合，尤其在训练数据有限的情况下。

实验结果

研究问题

• RQ1 深度CNN架构是否能在高度欠采样的动态心脏MR图像重建中超越传统压缩感知与字典学习方法？
• RQ2 深度级联模型在多大程度上能有效学习并利用动态MRI序列中的时空冗余性？
• RQ3 所提出的方法是否能实现适合临床应用的实时重建速度？
• RQ4 该模型对不同笛卡尔欠采样模式与高加速因子的鲁棒性如何？
• RQ5 网络在无需显式微调的情况下，对未见过的欠采样掩码的泛化能力如何？

主要发现

• 所提方法在重建误差与速度方面均优于最先进的2D压缩感知与字典学习方法。
• 在11倍欠采样下，该方法比竞争方法更忠实地保留了解剖结构，即使在极端加速条件下亦然。
• 完整动态MRI序列的重建时间少于10秒，单个2D图像帧的重建仅需23毫秒，支持实时应用。
• 网络对任意笛卡尔欠采样掩码具有良好的泛化能力，且可在多个加速率下预先训练，再进行微调。
• 得益于有效的数据增强与局部感受野设计，即使在训练数据有限的情况下，模型仍保持高性能。
• 该方法对极端欠采样具有鲁棒性，并学习到优于传统稀疏性假设的有效图像先验。