[论文解读] Highly Scalable Image Reconstruction using Deep Neural Networks with Bandpass Filtering

Joseph Y. Cheng, Feiyu Chen+3 more|arXiv (Cornell University)|May 8, 2018

Advanced MRI Techniques and Applications参考文献 36被引用 33

一句话总结

本文提出了一种基于带通滤波的深度神经网络架构，用于从高度欠采样的k空间数据中实现高度可扩展的MRI重建。通过在k空间域内直接应用卷积网络，并结合局部化补丁处理，同时利用成像模型强制执行数据一致性，该方法实现了快速、精确的重建，保留了测量数据，同时支持跨多维MRI数据集的并行化与可扩展性。

ABSTRACT

To increase the flexibility and scalability of deep neural networks for image reconstruction, a framework is proposed based on bandpass filtering. For many applications, sensing measurements are performed indirectly. For example, in magnetic resonance imaging, data are sampled in the frequency domain. The introduction of bandpass filtering enables leveraging known imaging physics while ensuring that the final reconstruction is consistent with actual measurements to maintain reconstruction accuracy. We demonstrate this flexible architecture for reconstructing subsampled datasets of MRI scans. The resulting high subsampling rates increase the speed of MRI acquisitions and enable the visualization rapid hemodynamics.

研究动机与目标

• 解决传统CNN在MRI重建中的局限性，特别是缺乏数据一致性和在k空间域测量时可扩展性差的问题。
• 通过直接在测量（k空间）域内操作并采用局部化补丁，克服在固定图像尺寸上进行训练和推理的挑战。
• 通过将重建过程解耦为独立的k空间补丁，实现高效、可并行化的训练与推理，同时保持全局数据一致性。
• 通过将物理成像模型整合到网络架构中，在高欠采样因子（>8×）下仍能保持高重建精度。
• 提供一种灵活的框架，可适应多种MRI采集技术，包括非笛卡尔和波编码采样轨迹。

提出的方法

• 该方法直接在频域内处理k空间数据的局部补丁，避免在推理过程中转换到图像域。
• 训练一个深度卷积神经网络（ConvNet）从其对应的欠采样输入中预测完全采样的k空间补丁，使用成像模型（包括线圈敏感度图）作为归纳偏置。
• 将网络输出插入完整的k空间重建中，通过数据一致性步骤确保最终图像与原始测量数据一致。
• 通过独立处理每个k空间补丁，该架构支持并行化，显著减少了内存和计算瓶颈。
• 通过伴随算子Aᴴ将成像模型整合进来，使网络能够从物理采集过程中学习，同时保持灵活性。
• 该方法保持了输入和输出中复数数据通道的数量，支持直接用原始测量值替换估计样本，以强制实现数据保真度。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，使其直接在k空间域内运行，同时与实际MRI采集数据保持一致性？
• RQ2 在测量域中采用补丁处理如何提升基于深度学习的MRI重建中的可扩展性和并行化能力？
• RQ3 一个单一的、共享的ConvNet在未显式建模频率带特异性特征的情况下，能在多大程度上泛化到不同的k空间区域？
• RQ4 所提出的带通网络能否在显著更快且更具可扩展性的同时，实现与压缩感知相当的重建精度？
• RQ5 该方法在无需重大架构修改的情况下，对非笛卡尔采样轨迹（如波编码成像）的泛化能力如何？

主要发现

• 带通网络实现了与最先进压缩感知方法相当的图像重建质量，尤其在恢复细微解剖细节和图像锐度方面表现优异。
• 该方法成功从波编码、高度欠采样的k空间数据（欠采样因子为3.2）中重建出2D T2加权腹部MRI扫描，视觉质量与压缩感知的真值相当。
• 通过确保最终重建图像与原始测量的k空间样本一致，网络有效保持了数据一致性，防止与实际采集结果产生偏差。
• 该架构通过独立处理k空间补丁实现了高效并行推理，显著提升了相对于传统基于图像域补丁网络的计算可扩展性。
• 该模型对噪声和伪影表现出鲁棒性，细小结构的恢复效果在放大图像区域中尤为突出（例如图10中的箭头所示）。
• 通过修改成像模型算子以包含重采样（gridding），该框架可适应非笛卡尔采样，显示出在笛卡尔轨迹之外更广泛应用的潜力。