[论文解读] Multi-Contrast MRI Super-Resolution via a Multi-Stage Integration Network

Chun-Mei Feng, Huazhu Fu+2 more|arXiv (Cornell University)|May 19, 2021

Advanced Image Processing Techniques参考文献 26被引用 5

一句话总结

本文提出MINet，一种用于多对比度MRI超分辨率的多阶段融合网络，通过显式建模分层特征阶段间的跨对比度依赖关系。通过基于相似性的融合与注意力机制，整合来自辅助对比度的互补特征，MINet在fastMRI和临床数据集上实现了最先进性能，显著优于先前方法，在PSNR和SSIM指标上均有提升。

ABSTRACT

Super-resolution (SR) plays a crucial role in improving the image quality of magnetic resonance imaging (MRI). MRI produces multi-contrast images and can provide a clear display of soft tissues. However, current super-resolution methods only employ a single contrast, or use a simple multi-contrast fusion mechanism, ignoring the rich relations among different contrasts, which are valuable for improving SR. In this work, we propose a multi-stage integration network (i.e., MINet) for multi-contrast MRI SR, which explicitly models the dependencies between multi-contrast images at different stages to guide image SR. In particular, our MINet first learns a hierarchical feature representation from multiple convolutional stages for each of different-contrast image. Subsequently, we introduce a multi-stage integration module to mine the comprehensive relations between the representations of the multi-contrast images. Specifically, the module matches each representation with all other features, which are integrated in terms of their similarities to obtain an enriched representation. Extensive experiments on fastMRI and real-world clinical datasets demonstrate that 1) our MINet outperforms state-of-the-art multi-contrast SR methods in terms of various metrics and 2) our multi-stage integration module is able to excavate complex interactions among multi-contrast features at different stages, leading to improved target-image quality.

研究动机与目标

• 解决现有超分辨率方法忽略多对比度MRI中复杂跨对比度关系的局限性。
• 利用多种MRI对比度（如T1WI、T2WI、PDWI、FS-PDWI）的互补信息，提升目标对比度图像的重建质量。
• 构建一种深度学习框架，建模不同阶段间的分层特征交互，以增强表征学习能力。
• 通过相似性感知融合与注意力机制，在多个层级上整合多对比度特征，提升图像质量。
• 在多种数据集和缩放因子（包括具有挑战性的4×超分辨率）下展示鲁棒性能。

提出的方法

• 提出一种多阶段融合网络（MINet），通过共享编码器对每种MRI对比度进行处理，经由多个卷积阶段学习分层特征。
• 引入多阶段融合模块，基于特征相似性匹配不同对比度的特征，并将其融合为更丰富的表征。
• 采用特征注意力模块（$\mathcal{F}_{\text{Att}}$），自适应地强调每种对比度中的信息性特征，增强模态特定的表征能力。
• 应用特征融合模块（$\mathcal{F}_{\text{Int}}$），在每个阶段聚合不同对比度的特征，通过加权融合建模跨对比度依赖关系。
• 采用渐进式优化策略，使早期阶段的特征引导深层表征的学习，实现多层次交互。
• 使用复合损失函数进行网络训练，结合L1损失与感知损失，以保留结构细节并提升视觉质量。

实验结果

研究问题

• RQ1 在多个分层阶段建模跨对比度依赖关系，是否能提升多对比度MRI超分辨率的性能？
• RQ2 来自不同MRI序列（如T1WI、T2WI）的多对比度特征如何相互作用以增强目标对比度图像的重建？
• RQ3 在多对比度MRI超分辨率中，阶段式特征融合相较于单阶段融合的贡献是什么？
• RQ4 引入辅助对比度（如以T1WI辅助T2WI超分辨率）是否能带来PSNR与SSIM的可测量提升？
• RQ5 在真实临床场景中，该方法在不同数据集和缩放因子（如2×、4×）下的鲁棒性如何？

主要发现

• 在fastMRI数据集2×超分辨率任务中，MINet取得最高的PSNR（31.769）与SSIM（0.709），相比之前最先进方法（Lyu et al.）在PSNR上提升2.286 dB。
• 在SMS数据集4×超分辨率任务中，MINet实现PSNR 35.032与SSIM 0.948，显著优于第二名方法（Lyu et al.），PSNR提升1.365 dB。
• 在uMR数据集4×超分辨率任务中，MINet实现PSNR 34.219与SSIM 0.956，超越第二名方法（Zeng et al.）2.358 dB（PSNR）。
• 消融实验表明，若移除特征融合模块（$\mathcal{F}_{\text{Int}}$）或注意力模块（$\mathcal{F}_{\text{Att}}$），性能显著下降，完整模型表现最佳（在SMS数据集2×下，NMSE: 0.0018，PSNR: 40.549，SSIM: 0.983）。
• 视觉结果表明，MINet产生的伪影更少（如棋盘效应），且在高倍放大场景下结构保持更优。
• 该方法在fastMRI、SMS与uMR等多种数据集上均表现出强泛化能力，证实其在真实临床场景中的鲁棒性。