[论文解读] Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution

Tingting Liu, Yuan Liu+4 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Image Fusion Techniques被引用 4

一句话总结

该论文提出SRDNet，一种双域高光谱图像超分方法，通过结合混合2D/3D卷积单元与渐进式上采样，并引入动态频率损失，以增强空间-光谱特征学习。通过在空间域和频域中集成自注意力机制，SRDNet在基准数据集上实现了最先进性能，显著提升了纹理细节与感知质量。

ABSTRACT

Since the number of incident energies is limited, it is difficult to directly acquire hyperspectral images (HSI) with high spatial resolution. Considering the high dimensionality and correlation of HSI, super-resolution (SR) of HSI remains a challenge in the absence of auxiliary high-resolution images. Furthermore, it is very important to extract the spatial features effectively and make full use of the spectral information. This paper proposes a novel HSI super-resolution algorithm, termed dual-domain network based on hybrid convolution (SRDNet). Specifically, a dual-domain network is designed to fully exploit the spatial-spectral and frequency information among the hyper-spectral data. To capture inter-spectral self-similarity, a self-attention learning mechanism (HSL) is devised in the spatial domain. Meanwhile the pyramid structure is applied to increase the acceptance field of attention, which further reinforces the feature representation ability of the network. Moreover, to further improve the perceptual quality of HSI, a frequency loss(HFL) is introduced to optimize the model in the frequency domain. The dynamic weighting mechanism drives the network to gradually refine the generated frequency and excessive smoothing caused by spatial loss. Finally, In order to better fully obtain the mapping relationship between high-resolution space and low-resolution space, a hybrid module of 2D and 3D units with progressive upsampling strategy is utilized in our method. Experiments on a widely used benchmark dataset illustrate that the proposed SRDNet method enhances the texture information of HSI and is superior to state-of-the-art methods.

研究动机与目标

• 为解决由于入射能量有限导致高光谱图像（HSI）空间分辨率低下的问题。
• 通过有效捕捉HSI中的空间-光谱相关性与波段间自相似性，提升特征表示能力。
• 通过引入频域优化，提升重建HSI的感知质量。
• 利用结合渐进式上采样的混合2D/3D卷积架构，建立低分辨率与高分辨率HSI之间的鲁棒映射关系。
• 克服现有方法缺乏辅助高分辨率数据、且未能充分挖掘光谱与空间信息的局限性。

提出的方法

• 设计了一种双域网络，联合利用高光谱数据中的空间-光谱信息与频域信息。
• 在空间域中应用自注意力机制（HSL），以捕捉波段间的自相似性，并通过金字塔结构扩大感受野。
• 引入频率损失（HFL），在频域中优化模型，提升感知质量并减少过度平滑。
• 采用动态加权机制平衡空间损失与频率损失，实现高频分量的渐进式优化。
• 采用结合2D与3D卷积单元的混合模块，并配合渐进式上采样策略，以更好地学习低分辨率到高分辨率的映射关系。
• 采用端到端训练方式，结合L1损失、感知损失与频率损失的多损失目标函数，以提升重建保真度。

实验结果

研究问题

• RQ1 在无辅助高分辨率数据的条件下，如何有效捕捉高光谱图像超分中的空间-光谱特征？
• RQ2 引入频域优化在多大程度上能提升超分HSI的感知质量？
• RQ3 与标准2D或3D网络相比，结合渐进式上采样的混合2D/3D卷积架构是否能更优地建模HSI中低分辨率到高分辨率的映射关系？
• RQ4 自注意力结合金字塔结构在HSI超分的空间域中如何增强特征表示能力？
• RQ5 空间域与频域损失之间的动态损失加权对重建精度与纹理保持有何影响？

主要发现

• SRDNet在广泛使用的基准数据集上表现优异，无论在定量指标还是视觉质量方面，均优于现有最先进方法。
• 所提出的频率损失（HFL）通过保留高频细节并减少过度平滑，显著提升了感知质量。
• 自注意力与金字塔结构的结合增强了网络建模长程光谱依赖关系的能力，改善了特征表示。
• 动态加权机制有效平衡了空间与频率损失，实现了更精确、更细致的重建结果。
• 结合渐进式上采样的混合2D/3D卷积模块，使低分辨率到高分辨率映射的学习更加高效，从而产生更锐利的纹理与更精细的空间细节。
• 消融实验验证了各组件（包括HSL、HFL与混合架构）的有效性，均显著提升了整体性能。