[论文解读] Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion

Danfeng Hong, Jing Yao+3 more|arXiv (Cornell University)|May 7, 2022

Advanced Image Fusion Techniques被引用 8

一句话总结

该论文提出DC-Net，一种自监督高光谱图像超分框架，通过在亚像素级别解耦与耦合高分辨率多光谱与低分辨率高光谱图像，实现性能最优。通过整合生成对抗网络用于解耦、模型引导的耦合光谱解混网络用于融合，以及自监督模块以强制保持物质一致性，DC-Net在模拟与真实世界数据中均实现了最先进的性能，显著提升了空间细节与光谱保真度。

ABSTRACT

Enormous efforts have been recently made to super-resolve hyperspectral (HS) images with the aid of high spatial resolution multispectral (MS) images. Most prior works usually perform the fusion task by means of multifarious pixel-level priors. Yet the intrinsic effects of a large distribution gap between HS-MS data due to differences in the spatial and spectral resolution are less investigated. The gap might be caused by unknown sensor-specific properties or highly-mixed spectral information within one pixel (due to low spatial resolution). To this end, we propose a subpixel-level HS super-resolution framework by devising a novel decoupled-and-coupled network, called DC-Net, to progressively fuse HS-MS information from the pixel- to subpixel-level, from the image- to feature-level. As the name suggests, DC-Net first decouples the input into common (or cross-sensor) and sensor-specific components to eliminate the gap between HS-MS images before further fusion, and then fully blends them by a model-guided coupled spectral unmixing (CSU) net. More significantly, we append a self-supervised learning module behind the CSU net by guaranteeing the material consistency to enhance the detailed appearances of the restored HS product. Extensive experimental results show the superiority of our method both visually and quantitatively and achieve a significant improvement in comparison with the state-of-the-arts. Furthermore, the codes and datasets will be available at https://sites.google.com/view/danfeng-hong for the sake of reproducibility.

研究动机与目标

• 解决由传感器特性和光谱混合引起的高光谱（HS）与多光谱（MS）图像之间巨大的分布差异。
• 克服现有像素级融合方法无法建模亚像素级关系与混合像素的局限性。
• 通过整合光谱解混的物理先验与自监督学习，提升高分辨率高光谱（HrHS）图像重建的保真度。
• 开发一种从图像级到特征级、从像素级到亚像素级的渐进式融合框架。
• 通过统一的端到端架构实现对多样化场景的鲁棒性与泛化能力，并获得可复现的结果。

提出的方法

• 设计一个基于生成对抗网络（GAN）的解耦子网络（D-Net），将HS与MS输入分离为共有的（跨传感器）与传感器特异性分量，以减小模态差异。
• 实现一个耦合光谱解混（CSU）网络（C-Net），通过将像素分解为纯净端元与丰度，建模亚像素级混合，实现紧凑融合。
• 引入一个自监督学习模块（S-Net），强制重建图像与真实图像的丰度图之间保持物质一致性，以增强纹理与几何结构。
• 应用两项物理约束——丰度非负性约束（ANC）与丰度和为一约束（ASC），以正则化光谱解混过程并提升稳定性。
• 使用结合重建损失、感知损失与自监督一致性损失的损失函数，端到端训练整个DC-Net框架。
• 采用渐进式融合策略：首先通过D-Net在图像级对齐HS-MS数据，然后通过C-Net在亚像素级融合特征，最后通过S-Net优化输出。

实验结果

研究问题

• RQ1 解耦与耦合的网络架构是否能有效缓解由传感器特异性和光谱混合效应引起的HS与MS图像之间的分布差异？
• RQ2 与像素级融合相比，通过耦合光谱解混实现的亚像素级融合在多大程度上提升了高光谱超分的质量？
• RQ3 基于物质一致性的自监督学习如何增强重建HrHS图像的真实感与结构细节？
• RQ4 物理约束（ANC与ASC）在提升基于光谱解混的融合过程的鲁棒性与准确性方面有何贡献？
• RQ5 所提出的DC-Net是否在多样化的真实世界场景与数据集（包括模拟与真实卫星数据）中具有良好泛化能力？

主要发现

• 与无D-Net的基线C-Net相比，DC-Net在PSNR上提升约1.5 dB，SAM降低超过2°，证明了解耦模块的有效性。
• 在C-Net中联合使用ANC与ASC约束，相比无约束情况，PSNR提升超过4 dB，SAM值减半。
• 自监督模块（S-Net）进一步突破性能瓶颈，显著提升纹理与结构细节，改善重建质量。
• 在CAVE数据集上，DC-Net-S的平均PSNR达到31.2 dB，SAM为1.5°，优于S3Net、U-Net与U-Net-CA等SOTA方法。
• 在WorldView-3与Hyperion真实数据的实验中，DC-Net-S生成的HrHS结果具有更高的视觉保真度，颜色与亮度更接近LrHS，且结构一致性优于DC-Net。
• 该模型计算效率高，参数量仅为3.43 MB，单张图像在GTX 1080Ti GPU上的平均推理时间仅101分钟，适用于实际应用。