[论文解读] Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging

Wei He, Naoto Yokoya+1 more|arXiv (Cornell University)|Dec 30, 2020

Advanced Image Fusion Techniques参考文献 46被引用 6

一句话总结

本文提出了一种非迭代、快速的高光谱图像（HSI）重建方法，利用双相机压缩高光谱成像技术，通过利用光谱低秩特性融合CASSI与RGB测量数据：RGB数据用于估计空间系数，而CASSI数据用于恢复正交光谱基。该方法在比先前迭代方法快5,000倍以上的同时，实现了最先进的重建质量，且无需光谱感知矩阵或非局部处理。

ABSTRACT

Coded aperture snapshot spectral imaging (CASSI) is a promising technique to capture the three-dimensional hyperspectral image (HSI) using a single coded two-dimensional (2D) measurement, in which algorithms are used to perform the inverse problem. Due to the ill-posed nature, various regularizers have been exploited to reconstruct the 3D data from the 2D measurement. Unfortunately, the accuracy and computational complexity are unsatisfied. One feasible solution is to utilize additional information such as the RGB measurement in CASSI. Considering the combined CASSI and RGB measurement, in this paper, we propose a new fusion model for the HSI reconstruction. We investigate the spectral low-rank property of HSI composed of a spectral basis and spatial coefficients. Specifically, the RGB measurement is utilized to estimate the coefficients, meanwhile the CASSI measurement is adopted to provide the orthogonal spectral basis. We further propose a patch processing strategy to enhance the spectral low-rank property of HSI. The proposed model neither requires non-local processing or iteration, nor the spectral sensing matrix of the RGB detector. Extensive experiments on both simulated and real HSI dataset demonstrate that our proposed method outperforms previous state-of-the-art not only in quality but also speeds up the reconstruction more than 5000 times.

研究动机与目标

• 为解决现有压缩高光谱成像（CASSI）迭代重建方法存在的高计算成本与有限精度问题。
• 利用互补的RGB与CASSI测量数据，在不增加计算复杂度的前提下提升重建质量。
• 开发一种非迭代、灵活且高效的算法，避免依赖预先计算的光谱感知矩阵或非局部正则化。
• 通过将HSI分解为空间系数（来自RGB）与正交光谱基（来自CASSI）的方式，有效利用其光谱低秩结构。
• 在保持或提升重建保真度的同时，显著加速HSI恢复，优于当前最先进方法。

提出的方法

• 该方法通过光谱低秩特性将HSI分解为正交光谱基矩阵E与空间系数矩阵W的乘积。
• 空间系数W通过线性模型直接从RGB测量中估计，避免迭代优化。
• 通过求解超定系统的非迭代最小二乘法，从CASSI测量中恢复正交光谱基E。
• 采用基于图像块的处理策略，增强空间系数的低秩结构，从而提高重建精度。
• 融合模型结合RGB导出的系数与CASSI导出的基，无需迭代优化或非局部处理。
• 该方法无需RGB探测器的光谱感知矩阵先验知识，提升了灵活性并减少了假设。

实验结果

研究问题

• RQ1 非迭代融合CASSI与RGB测量是否能实现比迭代方法更快、更准确的HSI重建？
• RQ2 如何有效利用双传感器获取的两种测量数据，来挖掘HSI的光谱低秩结构？
• RQ3 能否在保持高重建质量的前提下，消除非局部或迭代正则化的计算负担？
• RQ4 所提方法在模拟与真实数据集上是否在速度与精度方面均优于最先进方法？
• RQ5 能否在不依赖RGB传感器光谱感知矩阵的前提下，高效完成RGB与CASSI数据的融合？

主要发现

• 在CAVE数据集上，所提PFusion方法的平均PSNR达到43.46 dB，优于次优方法（Improved）的0.04 dB。
• 在ICVL数据集上，PFusion的平均SSIM为0.995，略高于Improved方法（0.995），且运行时间仅1.8秒。
• 在RS数据集上，PFusion的平均MSA为0.81，显著低于Improved方法（0.85），表明其具有更优的光谱保真度。
• 该方法在CAVE数据集上的HSI重建时间仅为1.8秒，比DLTR方法（52,585秒）快超过5,000倍。
• 该方法在保持或提升重建质量的同时，相比DeSCI-RGB与DLTR等非局部低秩方法，实现了5,000倍的速度提升。
• 所提方法无需RGB探测器的光谱感知矩阵，减少了假设，增强了实际应用可行性。