[论文解读] All-in-One Deep Learning Framework for MR Image Reconstruction

Geunu Jeong, Hyeonsoo Kim+3 more|arXiv (Cornell University)|May 6, 2024

Medical Imaging Techniques and Applications被引用 7

一句话总结

单一的上下文增强 U-Net 模型在多种 k-space 维度和厂商之间重建 MR 图像，实现可调去噪、多方向超分辨率，以及与多样化的协议和加速策略的广泛兼容性。

ABSTRACT

We introduce a novel, all-in-one deep learning framework for MR image reconstruction, enabling a single model to enhance image quality across multiple aspects of k-space sampling and to be effective across a wide range of clinical and technical scenarios. This DICOM-based algorithm serves as the core of SwiftMR (AIRS Medical, Seoul, Korea), which is FDA-cleared, CE-certified, and commercially available. We first detail the comprehensive development process of the model, including data collection, training pair preparation, model architecture design, and DICOM inference. We then assess the model's capability to enhance image quality in a multi-dimensional manner, specifically across various aspects of k-space sampling. Subsequently, we evaluate several features of the multi-dimensional enhancement: the accuracy of tunable denoising, the effectiveness of super-resolution in each encoding direction, and the reduction of artifacts that become more prominent at lower spatial resolutions. Additionally, we assess its compatibility with various scan parameter sets and its generalizability across scanner vendors not seen during training. Finally, we present specific cases demonstrating the model's utility in reducing scan time across anatomical regions in conjunction with protocol optimization. The proposed model is compatible with a broad spectrum of scenarios, including various vendors, pulse sequences, scan parameters, and anatomical regions. Its DICOM-based operation particularly enhances its applicability for real-world applications. Given its demonstrated effectiveness and versatility, we expect its use to expand in the field of clinical MRI.

研究动机与目标

• 激发并解决在多样的 k-space 采样维度和临床场景下获得高质量 MR 重建的需求。
• 开发一个基于 DICOM 的全能型深度学习框架，能够适应多种退化模式和重建步骤。
• 提出一个上下文增强的 U-Net（CE U-Net），将上下文数据整合进来，以实现可调去噪和多维度改进。
• 展示与厂商、脉冲序列、扫描参数以及未见数据集的广泛兼容性，包括潜在的扫描时间缩减。

提出的方法

• 在多个维度（噪声、k_max、部分傅里叶、椭圆采样）对原始 k-space 数据进行降级，并模拟重建步骤以创建多样的输入–目标对。
• 使用标准化模块和带有动态调制路径的 CE U-Net 架构，将上下文数据注入到中间层。
• 训练独立的 2D 和 3D 网络（3D 使用七张切片的堆叠以实现切片方向的超分辨率）。
• 提供上下文输入，包括 k-space 采样参数和明确推导的降噪因子，以实现可调去噪。
• 应用 L1 损失、ADAM 优化器和学习率调度来优化网络参数。
• 通过提取相关标签进行基于 DICOM 的推断以实现标准化并将输入路由到相应网络。

实验结果

研究问题

• RQ1 单一的深度学习模型是否能够在多种 k-space 采样维度和多种重建步骤下提升 MR 图像质量？
• RQ2 整合上下文数据如何影响 MR 重建中的可调去噪和多维增强？
• RQ3 该模型是否能够在未见过的厂商和不同的扫描参数配置下泛化？
• RQ4 当与协议优化结合时，该框架是否可以实际降低扫描时间？

主要发现

• 该模型通过添加连续的维度（噪声降低、频率上的 k_max、相位部分傅里叶、相位 k_max、切片方向的 k_max）实现多维增强。
• 可调去噪因子在不改变平均信号水平的情况下实现测量噪声的相应降低。
• 在所有编码方向上的边缘清晰度通过 DLR 提升约 2.5 倍，表明切片方向超分辨率和跨方向增益。
• DLR 在降低低空间分辨率伪影，如截断和体素内去相干方面有效，尤其是在切片方向超分辨率时。
• 该框架在八张大脑扫描、具有不同 k-space 采样和重建参数的条件下，以及在三个未见厂商的条件下仍然有效，表明广泛兼容性。
• 来自标准与加速协议在多个区域的图像显示在 DLR 之后噪声降低和整体图像质量提升，暗示潜在的扫描时间缩短。