[论文解读] Deep Gaussian Scale Mixture Prior for Spectral Compressive Imaging

Tao Huang, Weisheng Dong+3 more|arXiv (Cornell University)|Mar 12, 2021

Sparse and Compressive Sensing Techniques参考文献 48被引用 7

一句话总结

本文提出了一种用于编码孔径快照光谱成像（CASSI）中高光谱图像（HSI）重建的深度高斯尺度混合（DGSM）先验，在最大后验概率（MAP）估计框架内，通过深度卷积神经网络（DCNN）学习尺度和局部均值先验。该方法通过端到端联合优化MAP估计器与DCNN参数，在合成与真实数据集上均实现了最先进性能，PSNR与SSIM指标均优于现有方法，且对不同编码孔径掩模具有鲁棒性。

ABSTRACT

In coded aperture snapshot spectral imaging (CASSI) system, the real-world hyperspectral image (HSI) can be reconstructed from the captured compressive image in a snapshot. Model-based HSI reconstruction methods employed hand-crafted priors to solve the reconstruction problem, but most of which achieved limited success due to the poor representation capability of these hand-crafted priors. Deep learning based methods learning the mappings between the compressive images and the HSIs directly achieved much better results. Yet, it is nontrivial to design a powerful deep network heuristically for achieving satisfied results. In this paper, we propose a novel HSI reconstruction method based on the Maximum a Posterior (MAP) estimation framework using learned Gaussian Scale Mixture (GSM) prior. Different from existing GSM models using hand-crafted scale priors (e.g., the Jeffrey's prior), we propose to learn the scale prior through a deep convolutional neural network (DCNN). Furthermore, we also propose to estimate the local means of the GSM models by the DCNN. All the parameters of the MAP estimation algorithm and the DCNN parameters are jointly optimized through end-to-end training. Extensive experimental results on both synthetic and real datasets demonstrate that the proposed method outperforms existing state-of-the-art methods. The code is available at https://see.xidian.edu.cn/faculty/wsdong/Projects/DGSM-SCI.htm.

研究动机与目标

• 为解决基于模型的HSI重建中手工设计先验的局限性，这些先验因表征能力弱而常导致次优结果。
• 克服基于深度学习的HSI重建中启发式设计的挑战，避免为获得最佳性能而进行大量网络工程。
• 开发一种可解释的HSI重建框架，将学习到的先验整合到合理的MAP估计设置中。
• 通过端到端训练联合学习测量矩阵A及其转置Aᵀ，提升对不同编码孔径掩模的鲁棒性。

提出的方法

• 将HSI重建建模为基于高斯尺度混合（GSM）模型的最大后验概率（MAP）估计问题，以捕捉空谱相关性。
• 用从数据中学习的深度卷积神经网络（DCNN）替代传统手工设计的尺度先验（如Jeffrey先验）。
• 将GSM模型的局部均值估计为邻近空谱像素的加权平均，其中权重由DCNN预测，以建模非局部自相似性。
• 在端到端训练方案中联合优化MAP估计器与DCNN的所有参数，以提升重建保真度。
• 在DCNN中引入密集跳跃连接，以增强特征传播与梯度流动，改善表征学习。
• 使用包含五种不同掩模的复合训练数据集训练单一鲁棒模型，避免了对掩模特定的再训练需求。

Figure 1: A single shot measurement captured by [ 22 ] and 28 reconstructed spectral channels using our proposed method.

实验结果

研究问题

• RQ1 深度神经网络能否有效学习高斯尺度混合（GSM）模型中的尺度先验，从而超越手工设计的先验？
• RQ2 通过可学习的空谱加权平均机制，能否有效估计GSM模型的局部均值，从而提升重建精度？
• RQ3 与启发式网络设计相比，MAP估计器与DCNN参数的端到端联合优化是否能带来更优性能？
• RQ4 在多种掩模上联合训练的单一模型是否具备良好泛化能力，从而减少真实CASSI系统中对掩模特定再训练的需求？

主要发现

• 在CAVE数据集上，该方法在11位采样噪声条件下达到32.63 dB的PSNR与0.9166的SSIM，优于基线方法。
• 在真实世界SD-CASSI数据上，该方法重建28个光谱波段时，相比TwIST、GAP-TV、DeSCI与TSA-Net，展现出更优的纹理细节与噪声抑制效果。
• 消融实验表明，当滤波器大小超过q=7后，性能增益趋于饱和，因此选择q=7为最优。
• 将阶段数T从1增至4可提升性能，T=4在精度与计算成本之间达到最佳平衡。
• 引入密集连接使PSNR提升2.11 dB，SSIM提升0.0364，证明其在特征学习中的有效性。
• 在包含五种掩模的复合数据集上训练的单一模型，优于使用TSA-Net与DNU训练的五个掩模特定模型，证明了对掩模变化的鲁棒性。

Figure 2: The imaging schematic of CASSI system.