[论文解读] FUSFORMER: A TRANSFORMER-BASED FUSION APPROACH FOR HYPERSPECTRAL IMAGE SUPER-RESOLUTION

Jinfan Hu|arXiv (Cornell University)|Sep 5, 2021

Advanced Image Fusion Techniques参考文献 35被引用 6

一句话总结

本文提出Fusformer，一种基于Transformer的新型融合网络，用于高光谱图像超分辨率，通过自注意力机制捕捉低分辨率高光谱图像（LR-HSI）与高分辨率多光谱图像（HR-MSI）之间的全局空间-光谱依赖关系。通过学习残差而非直接重建完整的HR-HSI，该方法仅使用0.1百万参数即实现了最先进性能，显著降低了计算成本，同时提升了精度。

ABSTRACT

Hyperspectral image has become increasingly crucial due to its abundant spectral information. However, It has poor spatial resolution with the limitation of the current imaging mechanism. Nowadays, many convolutional neural networks have been proposed for the hyperspectral image super-resolution problem. However, convolutional neural network (CNN) based methods only consider the local information instead of the global one with the limited kernel size of receptive field in the convolution operation. In this paper, we design a network based on the transformer for fusing the low-resolution hyperspectral images and high-resolution multispectral images to obtain the high-resolution hyperspectral images. Thanks to the representing ability of the transformer, our approach is able to explore the intrinsic relationships of features globally. Furthermore, considering the LR-HSIs hold the main spectral structure, the network focuses on the spatial detail estimation releasing from the burden of reconstructing the whole data. It reduces the mapping space of the proposed network, which enhances the final performance. Various experiments and quality indexes show our approach's superiority compared with other state-of-the-art methods.

研究动机与目标

• 为解决基于CNN的方法在捕捉高光谱图像超分辨率（HSI-SR）中全局空间-光谱关系方面的局限性。
• 利用Transformer的自注意力机制，更有效地建模光谱和空间维度上的长距离依赖关系，优于卷积操作。
• 通过聚焦于残差学习，降低网络映射复杂度，从而提升训练稳定性和性能。
• 开发一种轻量级、高效的架构，适用于实际部署，参数极少且具备强泛化能力。

提出的方法

• 所提出的Fusformer采用带有多头自注意力的Transformer编码器，以建模LR-HSI与HR-MSI特征之间的全局依赖关系。
• 网络被训练为预测上采样后的LR-HSI与真实HR-HSI之间的残差，而非直接重建完整的HR-HSI。
• 自注意力机制使模型能够比局部卷积更有效地捕捉光谱波段和空间位置之间的长程、非局部关系。
• 该架构设计简洁且参数高效，仅含0.1百万参数，增强了实用性与泛化能力。
• 特征融合在网络早期阶段进行，使Transformer能够同时关注来自两种输入模态的互补信息。
• 模型采用感知损失与标准指标（如PSNR、SAM、ERGAS和SSIM）进行端到端训练。

实验结果

研究问题

• RQ1 基于Transformer的架构是否能通过建模全局空间-光谱依赖关系，在高光谱图像超分辨率中超越现有基于CNN的方法？
• RQ2 残差学习如何影响HSI超分辨率网络的性能与稳定性？
• RQ3 参数极少的轻量级Transformer架构在不同数据集和图像类型上的泛化能力如何？
• RQ4 与基于局部感受野的卷积相比，自注意力机制是否能提升HSI-SR中的重建质量？
• RQ5 是否可通过简单且参数高效的Transformer设计，在不牺牲精度的前提下实现最先进性能？

主要发现

• 在CAVE数据集上，Fusformer的PSNR达到48.56，优于所有最先进方法，包括参数量显著更多的模型。
• 在Harvard数据集上，Fusformer的PSNR达到44.42，排名第一，展现出强大的泛化能力。
• 在CAVE数据集上，Fusformer的SAM（2.52）和ERGAS（1.30）值最低，表明其光谱保真度和重建精度更优。
• 消融实验证实，残差学习至关重要，若移除该设计，PSNR将下降超过5.8 dB，凸显其在稳定性和性能中的关键作用。
• 尽管仅含0.1百万参数，Fusformer仍优于参数量高达363万的模型，证明了其高效性与有效性。
• 视觉结果与残差图显示，Fusformer生成的重建结果最准确、最精细，且残差图最暗，表明重建误差最小。