[论文解读] An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion

Zhou Meng, Xiaolan Xu+1 more|arXiv (Cornell University)|Dec 9, 2022

Advanced Image Fusion Techniques被引用 6

一句话总结

本文提出了一种新颖的空洞残差注意力网络（DILRAN），用于多模态医学图像融合，结合多尺度特征提取与固定Softmax加权融合策略，生成高保真度、细节丰富的融合图像。该方法在四项基准指标上优于最先进方法，展现出在融合CT与MRI扫描图像时更优的视觉质量与定量性能。

ABSTRACT

Medical images play an important role in clinical applications. Multimodal medical images could provide rich information about patients for physicians to diagnose. The image fusion technique is able to synthesize complementary information from multimodal images into a single image. This technique will prevent radiologists switch back and forth between different images and save lots of time in the diagnostic process. In this paper, we introduce a novel Dilated Residual Attention Network for the medical image fusion task. Our network is capable to extract multi-scale deep semantic features. Furthermore, we propose a novel fixed fusion strategy termed Softmax-based weighted strategy based on the Softmax weights and matrix nuclear norm. Extensive experiments show our proposed network and fusion strategy exceed the state-of-the-art performance compared with reference image fusion methods on four commonly used fusion metrics.

研究动机与目标

• 为解决融合互补解剖结构（CT）与功能结构（MRI）医学图像以提升临床诊断的挑战。
• 开发一种深度学习框架，以在融合图像中保留细粒度纹理与结构边界。
• 设计一种无参数的融合策略，实现无需依赖训练的实时推理。
• 通过整合空洞卷积、残差学习与多尺度注意力机制，提升特征表示能力。

提出的方法

• 提出一种空洞残差注意力网络（DILRAN），结合残差连接、金字塔注意力模块与空洞卷积，实现多尺度特征提取。
• 采用固定Softmax加权融合策略，利用Softmax权重与矩阵核范数，结合特征图而不引入可学习参数。
• 采用多损失训练目标，包含MSE损失、图像梯度损失与感知损失，以增强细节保留与结构保真度。
• 应用端到端框架，包含特征提取、固定融合与图像重建模块，直接生成融合输出。
• 引入感知损失，引导网络学习高层语义特征，而非仅最小化像素级差异。
• 通过在YCbCr空间处理Y通道并重建全彩输出，将框架适配用于三通道SPECT/PET与单通道MRI的融合。

实验结果

研究问题

• RQ1 固定且无参数的融合策略是否能在多模态医学图像融合中实现与可学习融合机制相媲美的性能？
• RQ2 结合空洞卷积与注意力机制的多尺度特征学习在多大程度上提升了融合医学图像中的细节与边界保留能力？
• RQ3 与仅使用MSE损失相比，MSE、梯度与感知损失的组合如何影响融合输出的质量与真实感？
• RQ4 所提出的DILRAN架构是否能泛化至CT-MRI以外的其他多模态融合任务，如MRI-PET或MRI-SPECT？
• RQ5 该方法在哪些情况下会失效，以及在融合输出中会产生何种类型的伪影（如噪声或错位特征）？

主要发现

• 在CT-MRI融合基准测试中，所提方法在所有对比方法中取得了最高的PSNR（16.519）与SSIM（0.740）。
• 完整损失函数（MSE + 梯度 + 感知）优于仅使用MSE损失，MI提升2.9%（4.558 vs. 4.428），SSIM提升0.1%。
• 所提方法生成的融合图像相比基线方法（如MSPRAN与MSDRA）展现出更清晰的边界与更自然的纹理。
• 消融实验证实，感知损失与梯度损失显著提升了特征级表示，降低了对像素级最小化的依赖。
• 方法在熵（9.816）与FSIM（0.820）方面表现优异，表明输出具有高信息含量与结构相似性。
• 失败案例显示，当MRI细节模糊时，该方法可能引入噪声或错误表示CT特征，尽管此时MSDRA表现略优。