[论文解读] Accelerated Multi-Modal MR Imaging with Transformers.

Chun-Mei Feng, Yunlu Yan+4 more|arXiv (Cornell University)|Jun 27, 2021

Medical Imaging Techniques and Applications参考文献 49被引用 16

一句话总结

本文提出 MTrans，一种多模态变换器框架，通过利用交叉注意力机制融合目标与辅助磁共振成像模态的多尺度特征，在加速磁共振成像中显著提升了重建质量，通过捕捉传统卷积神经网络（CNN）能力之外的长程依赖关系。

ABSTRACT

Accelerating multi-modal magnetic resonance (MR) imaging is a new and effective solution for fast MR imaging, providing superior performance in restoring the target modality from its undersampled counterpart with guidance from an auxiliary modality. However, existing works simply introduce the auxiliary modality as prior information, lacking in-depth investigations on the potential mechanisms for fusing two modalities. Further, they usually rely on the convolutional neural networks (CNNs), which focus on local information and prevent them from fully capturing the long-distance dependencies of global knowledge. To this end, we propose a multi-modal transformer (MTrans), which is capable of transferring multi-scale features from the target modality to the auxiliary modality, for accelerated MR imaging. By restructuring the transformer architecture, our MTrans gains a powerful ability to capture deep multi-modal information. More specifically, the target modality and the auxiliary modality are first split into two branches and then fused using a multi-modal transformer module. This module is based on an improved multi-head attention mechanism, named the cross attention module, which absorbs features from the auxiliary modality that contribute to the target modality. Our framework provides two appealing benefits: (i) MTrans is the first attempt at using improved transformers for multi-modal MR imaging, affording more global information compared with CNN-based methods. (ii) A new cross attention module is proposed to exploit the useful information in each branch at different scales. It affords both distinct structural information and subtle pixel-level information, which supplement the target modality effectively.

研究动机与目标

• 为解决基于 CNN 的方法在捕捉多模态磁共振成像中长程依赖关系方面的局限性。
• 探索超越简单先验注入的目标与辅助磁共振模态之间的深层融合机制。
• 开发一种新型变换器架构，将目标模态的多尺度特征传递至辅助模态，以增强重建效果。
• 通过注意力机制利用全局上下文信息，提升加速磁共振成像中的图像质量。

提出的方法

• MTrans 采用双分支变换器架构，分别处理目标与辅助磁共振模态，随后通过交叉注意力模块进行特征融合。
• 交叉注意力模块是一种改进的多头注意力机制，可选择性地将辅助模态中的有用特征传递至目标模态，以增强其表示能力。
• 在网络的不同层级上提取并融合多尺度特征，以同时保留结构信息与像素级细节。
• 该框架通过辅助模态的引导，从 undersampled k-space 数据中重建完整采样的目标模态图像。
• 注意力机制使模型能够建模整个图像范围内的长程依赖关系，克服了 CNN 局部感受野的限制。
• 该模型为端到端可训练架构，通过重建损失进行优化，以最小化预测图像与真实图像之间的差异。

实验结果

研究问题

• RQ1 在加速磁共振成像中，如何有效融合多模态信息以提升重建质量？
• RQ2 与基于 CNN 的方法相比，基于变换器的架构在捕捉多模态磁共振数据中长程依赖关系方面具有哪些优势？
• RQ3 交叉注意力机制是否能在多个尺度上增强目标与辅助磁共振模态之间的特征传递？
• RQ4 与现有基于 CNN 的方法相比，所提出的 MTrans 框架在图像质量和重建精度方面表现如何？
• RQ5 多尺度特征融合在保留结构化与细微图像细节方面起到了何种作用？

主要发现

• 在加速多模态磁共振成像中，MTrans 的图像重建质量优于当前最先进的基于 CNN 的方法。
• 所提出的交叉注意力模块能有效从辅助模态中传递相关特征，显著提升目标模态的保真度。
• 基于变换器的架构在捕捉全局上下文信息方面优于基于局部感受野的 CNN。
• 多尺度特征融合有助于在重建图像中同时保留清晰的解剖结构与细微的像素级细节。
• 该方法在 PSNR 和 SSIM 等定量指标上表现出更优性能，尽管提供的文本中未给出具体数值。
• MTrans 是首个将结构化变换器架构与交叉注意力机制应用于多模态磁共振重建的框架，为未来研究建立了新的基准。