[论文解读] Data and Physics Driven Learning Models for Fast MRI -- Fundamentals and Methodologies from CNN, GAN to Attention and Transformers

Jiahao Huang, Yingying Fang+10 more|arXiv (Cornell University)|Apr 1, 2022

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文全面综述了用于快速磁共振成像重建的数据驱动与物理信息融合的深度学习模型，涵盖卷积神经网络（CNNs）、生成对抗网络（GANs）、注意力机制以及变换器（transformers）。研究表明，将磁共振成像物理约束与数据驱动学习相结合，可提升重建精度、跨扫描仪的泛化能力以及临床可行性，尤其通过联邦学习和可解释人工智能（XAI）实现。

ABSTRACT

Research studies have shown no qualms about using data driven deep learning models for downstream tasks in medical image analysis, e.g., anatomy segmentation and lesion detection, disease diagnosis and prognosis, and treatment planning. However, deep learning models are not the sovereign remedy for medical image analysis when the upstream imaging is not being conducted properly (with artefacts). This has been manifested in MRI studies, where the scanning is typically slow, prone to motion artefacts, with a relatively low signal to noise ratio, and poor spatial and/or temporal resolution. Recent studies have witnessed substantial growth in the development of deep learning techniques for propelling fast MRI. This article aims to (1) introduce the deep learning based data driven techniques for fast MRI including convolutional neural network and generative adversarial network based methods, (2) survey the attention and transformer based models for speeding up MRI reconstruction, and (3) detail the research in coupling physics and data driven models for MRI acceleration. Finally, we will demonstrate through a few clinical applications, explain the importance of data harmonisation and explainable models for such fast MRI techniques in multicentre and multi-scanner studies, and discuss common pitfalls in current research and recommendations for future research directions.

研究动机与目标

• 综述最先进的数据驱动深度学习模型（包括CNNs、GANs、注意力机制和变换器）在加速磁共振成像重建中的应用。
• 探讨将磁共振成像物理约束（如k空间一致性）与数据驱动模型结合的方法，以提升临床转化能力与鲁棒性。
• 强调在多中心、多扫描仪磁共振研究中，数据调和与可解释人工智能（XAI）的重要性。
• 探索联邦学习作为在机构间训练稳健、可泛化快速磁共振成像模型的隐私保护框架。
• 识别在开发可重复、可解释且临床可部署的快速磁共振成像技术过程中面临的关键挑战与未来研究方向。

提出的方法

• 本文综述了将迭代重建步骤嵌入深度神经网络架构中的展开优化框架，通过可微分组件实现端到端训练。
• 研究了生成对抗网络（GANs）在低采样率磁共振成像重建中提升感知质量与结构保真度的应用。
• 详细阐述了注意力机制与视觉变换器（ViTs）在k空间或图像空间中建模长距离依赖关系，以提高重建精度。
• 强调将物理磁共振模型（如前向与反向磁共振算子）作为可微分层集成到深度网络中，以确保与k空间数据的一致性。
• 提出联邦学习作为在不共享原始数据的前提下跨多个机构训练模型的方法，以保护隐私并提升模型在多样化扫描仪平台上的泛化能力。
• 倡导使用可解释人工智能（XAI）技术以增强模型透明度，提升临床决策中的信任度，特别是在多扫描仪与多中心环境中。

实验结果

研究问题

• RQ1 如何有效应用如CNNs、GANs和变换器等深度学习模型来加速磁共振成像重建，同时保持图像质量？
• RQ2 将物理磁共振模型（如k空间一致性）集成到数据驱动深度学习架构中，其优势与局限性是什么？
• RQ3 联邦学习如何实现跨多中心与多扫描仪环境的稳健、隐私保护的快速磁共振成像模型训练？
• RQ4 数据调和与可解释人工智能在提升基于深度学习的快速磁共振成像技术可重复性与临床采纳方面发挥什么作用？
• RQ5 在基准测试与比较多种基于深度学习的快速磁共振成像方法时面临哪些关键挑战？如何建立新的标准？

主要发现

• 数据驱动的深度学习模型（如CNNs与GANs）相比传统迭代方法显著加速了磁共振成像重建，实现了接近实时的性能。
• 将基于物理的约束（如数据一致性层）集成到深度网络中，可提高重建精度，并增强在不同扫描协议与硬件平台上的泛化能力。
• 变换器与注意力机制在建模k空间中的长距离依赖关系方面表现优异，从而在低采样率磁共振成像中提升了结构细节并减少了伪影。
• 联邦学习使在不共享原始数据的前提下跨机构训练稳健的快速磁共振成像模型成为可能，增强了隐私保护并提升了在多样化扫描平台上的泛化能力。
• 可解释人工智能（XAI）技术对于建立临床医生对模型预测的信任并确保预测透明度至关重要，尤其是在多中心研究中。
• 多参数定量磁共振成像（qMRI）有望通过数据驱动的快速磁共振成像实现进一步发展，使通过磁共振指纹成像与扩散张量成像等技术更早检测组织微结构变化成为可能。