[论文解读] Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution

Jing Yao, Danfeng Hong+4 more|arXiv (Cornell University)|Jul 10, 2020

Advanced Image Fusion Techniques参考文献 40被引用 8

一句话总结

该论文提出CUCaNet，一种新颖的无监督高光谱超分辨率方法，通过耦合解混网络与交叉注意力机制，利用多光谱图像提升空间分辨率。通过双流自编码器联合学习光谱与空间表征，并结合闭环正则化强制一致性，CUCaNet在基准数据集上实现了最先进性能，尤其在光谱保真度方面表现优异，表现为SAM和ERGAS值较低。

ABSTRACT

The recent advancement of deep learning techniques has made great progress on hyperspectral image super-resolution (HSI-SR). Yet the development of unsupervised deep networks remains challenging for this task. To this end, we propose a novel coupled unmixing network with a cross-attention mechanism, CUCaNet for short, to enhance the spatial resolution of HSI by means of higher-spatial-resolution multispectral image (MSI). Inspired by coupled spectral unmixing, a two-stream convolutional autoencoder framework is taken as backbone to jointly decompose MS and HS data into a spectrally meaningful basis and corresponding coefficients. CUCaNet is capable of adaptively learning spectral and spatial response functions from HS-MS correspondences by enforcing reasonable consistency assumptions on the networks. Moreover, a cross-attention module is devised to yield more effective spatial-spectral information transfer in networks. Extensive experiments are conducted on three widely-used HS-MS datasets in comparison with state-of-the-art HSI-SR models, demonstrating the superiority of the CUCaNet in the HSI-SR application. Furthermore, the codes and datasets will be available at: https://github.com/danfenghong/ECCV2020_CUCaNet.

研究动机与目标

• 解决无配对训练数据下无监督高光谱图像超分辨率（HSI-SR）的挑战。
• 克服现有无监督方法依赖手工设计先验、外部光谱响应函数或复杂优化方案的局限性。
• 开发一种深度学习框架，以物理一致的方式联合建模光谱解混与空间-光谱特征迁移。
• 实现多光谱与高光谱传感器之间未知点扩散函数（PSFs）和光谱响应函数（SRFs）的端到端学习。
• 通过集成交叉注意力机制增强分支间的时空-光谱信息交换，提升重建质量。

提出的方法

• 设计双流卷积自编码器，将多光谱（MS）和高光谱（HS）图像联合分解为共享光谱基底和对应的时空可变系数。
• 引入交叉注意力模块，实现在MS与HS分支之间的动态、自适应特征迁移，增强时空-光谱表征学习。
• 在空间与光谱域同时施加闭环一致性正则化，缩小解空间，提升优化稳定性。
• 从数据中端到端学习未知的PSFs与SRFs，消除对传感器特性先验知识的依赖。
• 仅使用同一场景的MS与HS图像对，在无真实高分辨率HS图像的情况下进行无监督训练。
• 基于像素级与光谱保真度的重建损失优化网络，辅以正则化项以保持物理合理性。

实验结果

研究问题

• RQ1 带有交叉注意力的耦合解混网络是否能在无需配对训练数据的情况下提升无监督HSI-SR性能？
• RQ2 与标准注意力或拼接操作相比，所提出的交叉注意力机制在增强时空-光谱特征融合方面的有效性如何？
• RQ3 网络在端到端方式下学习MS与HS传感器之间未知PSFs与SRFs的能力有多大？
• RQ4 闭环一致性正则化是否显著改善优化收敛性与重建质量？
• RQ5 CUCaNet在光谱与空间保真度方面与最先进监督与无监督HSI-SR方法相比表现如何？

主要发现

• 在Pavia University数据集上，CUCaNet取得最高的PSNR（37.22）与最低的SAM（4.43°），优于所有对比方法，包括MHFnet与uSDN。
• 在Chikusei数据集上，CUCaNet的PSNR为42.70，SAM为3.13°，尽管MHFnet的PSNR更高（43.71，SAM：3.51°），但CUCaNet在光谱精度上显著更优。
• CUCaNet在Pavia University上取得最低的ERGAS（0.82），在Chikusei上为0.40，表明其整体重建质量更优且相对误差更小。
• CUCaNet在Pavia University（SSIM：0.914，UQI：0.991）与Chikusei（SSIM：0.988，UQI：0.990）上的SSIM与UQI值均为最高，证实其在感知与结构保真度方面表现强劲。
• 残差图像的视觉分析表明，CUCaNet产生的结果最准确，误差模式最少，尤其在精细空间与光谱细节方面表现突出。
• 消融实验表明，交叉注意力模块与一致性正则化对性能至关重要，当任一组件被移除时，指标均出现显著下降。