[论文解读] Convolutional Recurrent Neural Networks for Dynamic MR Image Reconstruction

Chen Qin, Jo Schlemper+4 more|arXiv (Cornell University)|Dec 5, 2017

Advanced MRI Techniques and Applications参考文献 25被引用 29

一句话总结

该论文提出CRNN-MRI，一种新型的卷积循环神经网络，能够联合建模动态MRI序列中的时间依赖性以及传统重建算法的迭代特性。通过在时间帧和优化迭代之间嵌入循环隐藏连接，该方法在高 undersampling 率下相较于最先进方法实现了更优的重建精度和速度。

ABSTRACT

Accelerating the data acquisition of dynamic magnetic resonance imaging (MRI) leads to a challenging ill-posed inverse problem, which has received great interest from both the signal processing and machine learning community over the last decades. The key ingredient to the problem is how to exploit the temporal correlation of the MR sequence to resolve the aliasing artefact. Traditionally, such observation led to a formulation of a non-convex optimisation problem, which were solved using iterative algorithms. Recently, however, deep learning based-approaches have gained significant popularity due to its ability to solve general inversion problems. In this work, we propose a unique, novel convolutional recurrent neural network (CRNN) architecture which reconstructs high quality cardiac MR images from highly undersampled k-space data by jointly exploiting the dependencies of the temporal sequences as well as the iterative nature of the traditional optimisation algorithms. In particular, the proposed architecture embeds the structure of the traditional iterative algorithms, efficiently modelling the recurrence of the iterative reconstruction stages by using recurrent hidden connections over such iterations. In addition, spatiotemporal dependencies are simultaneously learnt by exploiting bidirectional recurrent hidden connections across time sequences. The proposed algorithm is able to learn both the temporal dependency and the iterative reconstruction process effectively with only a very small number of parameters, while outperforming current MR reconstruction methods in terms of computational complexity, reconstruction accuracy and speed.

研究动机与目标

• 解决从高度欠采样的k空间数据中重建高质量动态心脏MR图像的挑战。
• 克服传统基于优化的方法的局限性，如收敛速度慢和对正则化选择敏感。
• 利用深度学习隐式学习时空先验，避免手工设计的正则化。
• 设计一种神经网络架构，有效捕捉动态序列中的时间冗余性以及迭代重建过程中固有的重复性。
• 实现比现有深度学习和基于优化的方法更快、更准确的动态MRI重建。

提出的方法

• 使用变量分裂和交替最小化方法公式化动态MRI重建问题，随后将其展开为神经网络架构。
• 设计CRNN模块作为邻近算子，利用循环隐藏连接在迭代重建步骤之间共享信息。
• 在时间维度上集成双向循环单元，以捕捉时空依赖性并实现序列中上下文信息的传播。
• 将CRNN模块与数据一致性层结合，以在每次迭代中强制满足采集到的k空间数据保真度。
• 端到端训练整个网络，以最小化在欠采样数据上的重建误差。
• 采用标准RNN单元实现循环结构，结合卷积层以建模空间特征，实现空间与时间动态的联合学习。

实验结果

研究问题

• RQ1 循环神经网络能否有效建模传统优化算法在MRI重建中的迭代特性？
• RQ2 双向循环单元是否能通过捕捉动态MRI序列中的长程时间依赖性来提升重建质量？
• RQ3 具有跨迭代共享隐藏状态的CRNN架构是否在重建精度和参数效率方面优于标准3D CNN？
• RQ4 在高欠采样因子下（混叠现象严重时），所提方法表现如何？
• RQ5 与标准CNN相比，该网络架构在特征表示中减少冗余的程度如何？

主要发现

• CRNN-MRI在各种欠采样率下，均优于现有最先进方法，在重建精度和速度方面表现更优。
• 尽管参数量显著更少，该网络仍实现了高于3D CNN的重建精度，表明其具有更高的参数效率。
• 误差图显示，重建误差主要集中在运动区域，尤其是左心室和右心室周围。
• CRNN中中间层特征激活对动态解剖结构更敏感，表明其能更好地捕捉高层时空模式。
• CRNN的特征图之间成对余弦距离小于3D-CNN，表明冗余更少，信息传播更高效。
• 由于迭代间循环连接带来的更大有效感受野，CRNN架构能有效抑制背景区域的噪声，而3D-CNN则不具备此特性。