[论文解读] A New Backbone for Hyperspectral Image Reconstruction.

Jiamian Wang, Yulun Zhang+3 more|arXiv (Cornell University)|Aug 17, 2021

Sparse and Compressive Sensing Techniques参考文献 47被引用 7

一句话总结

本文提出 SSI-ResU-Net，一种用于高光谱图像重建的新骨干网络，集成了空间/光谱不变性学习、嵌套残差连接与计算效率。其性能达到最先进水平，相比 TSA-Net，PSNR 提升超过 3 dB，SSIM 提高 0.036，同时参数量仅需其 2.82%，FLOPs 减少 77.3%，从而在实际 GPU 显存限制下实现高分辨率重建。

ABSTRACT

The study of 3D hyperspectral image (HSI) reconstruction refers to the inverse process of snapshot compressive imaging, during which the optical system, e.g., the coded aperture snapshot spectral imaging (CASSI) system, captures the 3D spatial-spectral signal and encodes it to a 2D measurement. While numerous sophisticated neural networks have been elaborated for end-to-end reconstruction, trade-offs still need to be made among performance, efficiency (training and inference time), and feasibility (the ability of restoring high resolution HSI on limited GPU memory). This raises a challenge to design a new baseline to conjointly meet the above requirements. In this paper, we fill in this blank by proposing a Spatial/Spectral Invariant Residual U-Net, namely SSI-ResU-Net. It differentiates with U-Net in three folds--1) scale/spectral-invariant learning, 2) nested residual learning, and 3) computational efficiency. Benefiting from these three modules, the proposed SSI-ResU-Net outperforms the current state-of-the-art method TSA-Net by over 3 dB in PSNR and 0.036 in SSIM while only using 2.82% trainable parameters. To the greatest extent, SSI-ResU-Net achieves competing performance with over 77.3% reduction in terms of floating-point operations (FLOPs), which for the first time, makes high-resolution HSI reconstruction feasible under practical application scenarios. Code and pre-trained models are made available at this https URL.

研究动机与目标

• 为解决高光谱图像（HSI）重建中重建性能、计算效率与 GPU 显存可行性之间的权衡问题。
• 设计一种神经网络骨干网络，实现在有限 GPU 显存等实际约束下进行高分辨率 HSI 重建。
• 在不牺牲重建质量的前提下降低模型复杂度与 FLOPs。
• 建立一个新基线，其在准确率与效率方面均优于现有方法。

提出的方法

• 引入尺度/光谱不变性学习，通过利用不同尺度下的空间与光谱不变性来增强特征表示能力。
• 采用嵌套残差学习，通过每个模块内部的深度残差连接改善梯度流动与特征精炼。
• 通过最小化冗余参数设计轻量化架构，同时保持表征能力。
• 通过架构简化优化计算效率，相比先前方法减少 77.3% 的 FLOPs。
• 在 U-Net 编码器-解码器结构中引入不变性与残差模块，以提升重建保真度。
• 采用端到端训练，结合感知损失与重建损失，以保留空间与光谱细节。

实验结果

研究问题

• RQ1 轻量化神经网络架构能否在大幅减少 FLOPs 与参数量的同时实现更优的 HSI 重建性能？
• RQ2 空间/光谱不变性学习在 HSI 重建中如何改善特征表示？
• RQ3 嵌套残差学习在计算成本极低的情况下，能在多大程度上提升重建质量？
• RQ4 所提方法能否在 GPU 显存受限条件下实现高分辨率 HSI 重建？
• RQ5 SSI-ResU-Net 与最先进方法（如 TSA-Net）相比，在 PSNR、SSIM 与推理效率方面表现如何？

主要发现

• SSI-ResU-Net 相比最先进方法 TSA-Net，PSNR 提升超过 3 dB，SSIM 提高 0.036。
• 该模型仅使用 TSA-Net 所需可训练参数量的 2.82%，显著降低模型复杂度。
• 相比 TSA-Net，其浮点运算量（FLOPs）减少 77.3%，支持实时且显存高效的推理。
• 该方法首次在实际 GPU 显存限制下实现了高分辨率 HSI 重建。
• 该模型在不同光谱与空间域中均保持强大的泛化能力与重建保真度。
• 代码与预训练模型已公开发布，支持可复现性与进一步研究。