[论文解读] HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening

Wele Gedara Chaminda Bandara, Vishal M. Patel|arXiv (Cornell University)|Mar 4, 2022

Advanced Image Fusion Techniques被引用 14

一句话总结

HyperTransformer 提出了一种基于自注意力机制的新型融合方法，用于高光谱影像超分处理，通过多头软注意力模块将全色（PAN）影像中的高分辨率纹理特征传递到低分辨率高光谱（LR-HSI）特征中。通过建模跨特征空间依赖关系以及多尺度下的长程空间-光谱关联，该方法在光谱和空间质量方面均达到当前最优性能，在基准数据集上的 RMSE 最高提升 11.2%，PSNR 最高提升 2.1 dB。

ABSTRACT

Pansharpening aims to fuse a registered high-resolution panchromatic image (PAN) with a low-resolution hyperspectral image (LR-HSI) to generate an enhanced HSI with high spectral and spatial resolution. Existing pansharpening approaches neglect using an attention mechanism to transfer HR texture features from PAN to LR-HSI features, resulting in spatial and spectral distortions. In this paper, we present a novel attention mechanism for pansharpening called HyperTransformer, in which features of LR-HSI and PAN are formulated as queries and keys in a transformer, respectively. HyperTransformer consists of three main modules, namely two separate feature extractors for PAN and HSI, a multi-head feature soft attention module, and a spatial-spectral feature fusion module. Such a network improves both spatial and spectral quality measures of the pansharpened HSI by learning cross-feature space dependencies and long-range details of PAN and LR-HSI. Furthermore, HyperTransformer can be utilized across multiple spatial scales at the backbone for obtaining improved performance. Extensive experiments conducted on three widely used datasets demonstrate that HyperTransformer achieves significant improvement over the state-of-the-art methods on both spatial and spectral quality measures. Implementation code and pre-trained weights can be accessed at https://github.com/wgcban/HyperTransformer.

研究动机与目标

• 解决现有超分方法在建模 PAN 与 LR-HSI 之间跨特征依赖关系方面效果不佳的问题。
• 克服因简单拼接或无引导融合高分辨率纹理特征与低分辨率光谱特征所导致的空间与光谱失真。
• 利用注意力机制，基于全局上下文与光谱相似性，有选择性地将 PAN 中的相关高分辨率纹理特征传递至 LR-HSI。
• 在主干网络中实现多尺度特征融合，以捕捉不同空间分辨率下的更丰富纹理表征。
• 通过专门设计的纹理-光谱特征融合模块引导注意力机制，同时提升超分后 HSI 的光谱与空间保真度。

提出的方法

• 使用两个独立的特征提取器（FE-PAN 和 FE-HSI）分别将 PAN 和 LR-HSI 编码为深层特征表示。
• 在多头自注意力机制中，将 LR-HSI 特征设为查询（Q），PAN 特征设为键（K），PAN 特征设为值（V），以计算跨特征注意力权重。
• 采用多头特征软注意力模块，动态关注每个 LR-HSI 空间位置上最相关的 PAN 高分辨率纹理特征。
• 集成一个空间-光谱特征融合模块，将注意力加权后的 PAN 特征与 LR-HSI 特征结合，生成增强的 HSI 表征。
• 在多个空间尺度（×1、×2、×4）注入 HyperTransformer 模块，以捕捉分层纹理细节并提升特征表征学习能力。
• 通过结合 L1 损失、VGG 感知损失与迁移感知损失进行网络训练，以同时保持像素级精度与高层语义一致性。

Figure 1: How our HyperTransformer differs from existing pansharpening architectures. Traditional pansharpening methods simply concatenate PAN ( $\mathbf{p}$ ) and LR-HSI ( $\mathbf{y}$ ) in (a) image domain [ 58 , 22 ] or (b) feature domain [ 14 , 41 , 45 ] to learn the mapping function from LR-HSI

实验结果

研究问题

• RQ1 自注意力机制是否能有效建模 PAN 与 LR-HSI 特征之间的长程依赖关系与跨特征空间关联？
• RQ2 与单尺度融合相比，PAN 特征的多尺度融合是否能显著提升超分后 HSI 的质量？
• RQ3 与基于拼接或仅卷积的融合方法相比，基于注意力的特征融合是否能有效降低光谱与空间失真？
• RQ4 感知损失（VGG 与迁移式）在提升输出 HSI 的感知质量与光谱保真度方面发挥了何种作用？
• RQ5 所提出的 HyperTransformer 在定量与定性评估中，相较于现有 SOTA 方法，其性能提升程度如何？

主要发现

• 在 Pavia Center 数据集上，HyperTransformer 实现了 0.989 的 CC、3.85 的 SAM、0.0087 的 RMSE、2.01 的 ERGAS 和 43.80 的 PSNR，优于先前的 SOTA 方法。
• 在所有三个尺度（×1、×2、×4）均注入 HyperTransformer 时，相比仅使用 ×4 尺度，RMSE 提升 11.2%，PSNR 提升 2.1 dB。
• 与仅使用 L1 和 VGG 感知损失相比，引入迁移感知损失使 SAM 改善 4.0%，RMSE 改善 3.3%。
• 消融实验证实，多尺度特征融合显著提升性能，当三个尺度全部使用时达到最佳结果。
• 视觉分析显示，可见光波段的 MAE 显著降低，纹理保留效果更优，但紫外与红外波段仍因 PAN 图像限制而存在较高误差。
• 该方法在三个广泛使用的数据集上均表现出鲁棒性，证实其在光谱与空间质量指标上的泛化能力与优越性。

Figure 2: Overall structure of the proposed HyperTransformer for textural-spectral feature fusion.