[论文解读] JoJoNet: Joint-contrast and Joint-sampling-and-reconstruction Network for Multi-contrast MRI

Lin Zhao, Xiaohong Chen+5 more|arXiv (Cornell University)|Oct 22, 2022

Medical Imaging Techniques and Applications被引用 7

一句话总结

JoJoNet 提出了一种端到端的深度学习框架，通过利用循环重建网络和可学习的加速比来建模对比度间的相关性，联合优化 k 空间采样、多对比度 MRI 重建以及下游任务性能。与单对比度基线方法相比，该方法在脑部和膝关节多对比度 MRI 数据集上实现了更优的图像质量和下游任务准确率。

ABSTRACT

Multi-contrast Magnetic Resonance Imaging (MRI) generates multiple medical images with rich and complementary information for routine clinical use; however, it suffers from a long acquisition time. Recent works for accelerating MRI, mainly designed for single contrast, may not be optimal for multi-contrast scenario since the inherent correlations among the multi-contrast images are not exploited. In addition, independent reconstruction of each contrast usually does not translate to optimal performance of downstream tasks. Motivated by these aspects, in this paper we design an end-to-end framework for accelerating multi-contrast MRI which simultaneously optimizes the entire MR imaging workflow including sampling, reconstruction and downstream tasks to achieve the best overall outcomes. The proposed framework consists of a sampling mask generator for each image contrast and a reconstructor exploiting the inter-contrast correlations with a recurrent structure which enables the information sharing in a holistic way. The sampling mask generator and the reconstructor are trained jointly across the multiple image contrasts. The acceleration ratio of each image contrast is also learnable and can be driven by a downstream task performance. We validate our approach on a multi-contrast brain dataset and a multi-contrast knee dataset. Experiments show that (1) our framework consistently outperforms the baselines designed for single contrast on both datasets; (2) our newly designed recurrent reconstruction network effectively improves the reconstruction quality for multi-contrast images; (3) the learnable acceleration ratio improves the downstream task performance significantly. Overall, this work has potentials to open up new avenues for optimizing the entire multi-contrast MR imaging workflow.

研究动机与目标

• 解决单对比度 MRI 加速方法在多对比度场景下的局限性，即对比度间相关性未被充分利用。
• 在统一框架中联合优化多个对比度的 k 空间采样、图像重建和下游任务性能。
• 实现每个对比度的可学习加速比，以根据下游任务需求自适应地分配采样资源。
• 通过循环重建架构利用多对比度 MR 图像之间的解剖学和时间相关性，提升重建质量。
• 在真实多对比度 MRI 数据集上，验证联合对比度优化在图像重建和下游任务中的有效性。

提出的方法

• JoJoNet 采用双流架构，包含对比度特定的采样掩码生成器和共享的循环重建网络（HRU-Net），用于建模对比度间的依赖关系。
• 采样掩码生成器学习生成每个对比度的非均匀 k 空间采样模式，并可为不同对比度分配不同的加速比。
• HRU-Net 模块采用循环结构，通过迭代方式逐步优化重建结果，实现在不同对比度间的信息共享，提升重建保真度。
• 整个框架通过联合损失函数进行端到端训练，该损失函数结合了重建损失和下游任务损失（例如 T2* 映射准确率）。
• 每个对比度的加速比是可微分的，并在训练过程中进行优化，使模型能够学习到哪些对比度需要更多数据以提升下游性能。
• 该框架支持固定和可学习的加速比，后者可根据任务相关性动态分配 k 空间采样资源。

实验结果

研究问题

• RQ1 在多个 MRI 对比度之间联合优化采样、重建和下游任务性能，是否能提升整体成像质量和任务准确率？
• RQ2 多对比度 MRI 中的对比度间相关性如何影响采样和重建策略的设计？
• RQ3 每个对比度的可学习加速比是否优于固定加速比，特别是在下游任务中表现更优？
• RQ4 一种在对比度间共享信息的循环重建网络是否能比独立或非循环设计产生更优的图像质量？
• RQ5 与单对比度 MRI 加速方法相比，所提出的框架在多对比度数据集上的表现如何？

主要发现

• JoJoNet 在脑部和膝关节多对比度 MRI 数据集上均优于单对比度基线方法，在重建中实现了更高的 PSNR 和 SSIM。
• 在脑部数据集中，JoJoNet 在可学习加速比下实现了 13.81 dB 的 PSNR 和 0.8123 的 SSIM，而固定 2 倍加速比下仅为 9.99 dB 和 0.6311。
• 可学习加速比显著提升了 T2* 映射合成的准确率，达到 20.12 dB 的 PSNR 和 0.9263 的 SSIM，优于固定 2 倍加速比的 18.67 dB 和 0.8939 的 SSIM。
• JoJoNet 学习到的采样掩码在高频 k 空间区域表现出更密集的采样，表明其更有效地利用了对比度间的信息。
• 增加 HRU-Net 块的数量可提升重建质量，性能在三个块时趋于饱和，实现了质量与计算成本之间的最优权衡。
• 模型为 T2* 映射中的对比度 1 和 5 分配了更高的采样率，与它们在拟合指数衰减模型中的更高重要性一致。