[论文解读] Deep multi-modal aggregation network for MR image reconstruction with auxiliary modality

Chun-Mei Feng, Huazhu Fu+4 more|arXiv (Cornell University)|Oct 15, 2021

Medical Imaging Techniques and Applications被引用 7

一句话总结

该论文提出MARIO，一种深度多模态聚合网络，利用完全采样的辅助MR模态（例如T1加权）来指导从欠采样k空间数据中重建目标模态（例如T2加权）的高保真图像。通过采用分层的多尺度注意力机制和T1引导的特征融合，MARIO在IXI和fastMRI数据集上实现了更优的伪影抑制和图像质量，其在NMSE、PSNR和SSIM指标上优于当前最先进方法。

ABSTRACT

Magnetic resonance (MR) imaging produces detailed images of organs and tissues with better contrast, but it suffers from a long acquisition time, which makes the image quality vulnerable to say motion artifacts. Recently, many approaches have been developed to reconstruct full-sampled images from partially observed measurements to accelerate MR imaging. However, most approaches focused on reconstruction over a single modality, neglecting the discovery of correlation knowledge between the different modalities. Here we propose a Multi-modal Aggregation network for mR Image recOnstruction with auxiliary modality (MARIO), which is capable of discovering complementary representations from a fully sampled auxiliary modality, with which to hierarchically guide the reconstruction of a given target modality. This implies that our method can selectively aggregate multi-modal representations for better reconstruction, yielding comprehensive, multi-scale, multi-modal feature fusion. Extensive experiments on IXI and fastMRI datasets demonstrate the superiority of the proposed approach over state-of-the-art MR image reconstruction methods in removing artifacts.

研究动机与目标

• 通过使用欠采样k空间数据加速采集，解决临床影像中MR扫描时间长和运动伪影的问题。
• 克服单模态重建方法忽略T1和T2等MR序列之间跨模态相关性的局限。
• 开发一种方法，通过学习分层的互补特征表示，利用完全采样的辅助模态（如T1）来引导目标模态（如T2）的重建。
• 通过强调通道级和空间级重要特征的注意力机制，实现选择性多尺度多模态特征融合，从而提升图像质量。
• 通过整合模态特异性特征学习与动态注意力驱动的融合，实现MR图像重建的最先进性能。

提出的方法

• 提出一种双流编码器-解码器架构，其中每种模态（T1和T2）通过共享的卷积块独立处理，以学习模态特异性表示。
• 引入一种T1引导的注意力模块，通过全局平均池化和全连接层实现通道级注意力，以突出T1特征中的信息丰富通道。
• 将注意力机制扩展为空间级注意力模块，利用全局最大池化和7×7卷积生成空间注意力图，以聚焦于T1特征中的显著空间区域。
• 通过残差风格的逐元素乘法与加法融合增强后的T1特征与T2特征：$\hat{\bm{f}}_{T_{2}} = \bm{f}_{T_{2}} \otimes \bm{f}_{T_{1}}^{s} \oplus \bm{f}_{T_{2}}$，实现动态、注意力驱动的特征调制。
• 在编码器和解码器的多个阶段应用T1引导的融合模块，以实现在多模态间分层的多尺度特征聚合。
• 使用联合损失函数进行端到端训练：$\mathcal{L} = \alpha \mathcal{L}_{k\text{-space}} + \beta \mathcal{L}_{\text{Image}}$，其中$\alpha = 0.4$，$\beta = 0.6$，同时优化k空间和图像空间的重建误差。

实验结果

研究问题

• RQ1 利用完全采样的辅助MR模态（如T1）是否能显著提升在加速MRI中目标欠采样模态（如T2）的重建质量？
• RQ2 分层的多尺度注意力机制在捕捉T1与T2 MR序列之间互补的跨模态特征方面有多有效？
• RQ3 在多个网络深度上进行T1引导的特征融合，是否相比单阶段融合能实现更好的伪影抑制和结构保持？
• RQ4 所提出的多模态聚合网络在NMSE、PSNR和SSIM指标上，相较于最先进单模态深度学习方法，优势有多大？
• RQ5 该方法在不同数据集（如IXI和fastMRI）上是否具备泛化能力，并在不同加速率下保持稳健性能？

主要发现

• MARIO在IXI和fastMRI数据集上均达到最先进性能，在各种加速率下持续优于现有方法，NMSE、PSNR和SSIM指标表现更优。
• 所提出的T1引导注意力机制通过突出通道级和空间级重要特征，显著增强了特征表示，从而提升了重建保真度。
• 通过残差风格注意力模块实现的T1与T2特征的多尺度融合，显著抑制了伪影，尤其在复杂解剖结构区域表现更优。
• 定量结果表明，MARIO在8×加速率下于fastMRI数据集上实现了平均34.2 dB的PSNR和0.92的SSIM，显著超越先前方法。
• 消融研究证实，若移除T1引导注意力或融合模块，性能将明显下降，验证了多模态、分层特征聚合的关键作用。