[论文解读] A Fast Alternating Minimization Algorithm for Coded Aperture Snapshot Spectral Imaging Based on Sparsity and Deep Image Priors

Qile Zhao, Xianhong Zhao+3 more|arXiv (Cornell University)|Jun 12, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出 Fama-SDIP，一种用于编码孔径快照式光谱成像（CASSI）的快速交替最小化算法，通过结合稀疏性与深度图像先验（DIP），在无需任何训练数据的情况下重建高光谱图像（HSI）。通过在分裂 Bregman 框架中整合 DIP 于压缩感知，该方法在 11 分钟内即实现最先进的重建质量，在模拟与真实世界实验中显著优于现有无监督与有监督方法。

ABSTRACT

Coded aperture snapshot spectral imaging (CASSI) is a technique used to reconstruct three-dimensional hyperspectral images (HSIs) from one or several two-dimensional projection measurements. However, fewer projection measurements or more spectral channels leads to a severly ill-posed problem, in which case regularization methods have to be applied. In order to significantly improve the accuracy of reconstruction, this paper proposes a fast alternating minimization algorithm based on the sparsity and deep image priors (Fama-SDIP) of natural images. By integrating deep image prior (DIP) into the principle of compressive sensing (CS) reconstruction, the proposed algorithm can achieve state-of-the-art results without any training dataset. Extensive experiments show that Fama-SDIP method significantly outperforms prevailing leading methods on simulation and real HSI datasets.

研究动机与目标

• 解决在使用少量测量值或高光谱通道数时 CASSI 重建的病态性问题。
• 开发一种无需大规模训练数据集的重建算法，以克服有监督深度学习方法的局限性。
• 通过协同结合稀疏性先验与深度图像先验（DIP），提升重建精度与速度。
• 在单一统一框架下，实现在模拟与真实世界 CASSI 实验中的最先进性能。

提出的方法

• 该方法基于压缩感知原理，将 CASSI 重建建模为带稀疏性与 DIP 正则化的约束优化问题。
• 采用分裂 Bregman 算法，交替最小化数据保真项，并强制执行稀疏性与 DIP 约束。
• 通过生成式神经网络实现深度图像先验，其图像先验通过优化隐式学习，而非训练获得。
• 通过在高光谱立方体上施加三维总变差（TV）范数来实现稀疏性，以保留边缘并减少噪声。
• 算法使用基于稀疏性的重建结果作为热启动，以加速收敛。
• 交替最小化方案在分裂 Bregman 框架中交替更新 HSI 估计值与辅助变量。

实验结果

研究问题

• RQ1 结合稀疏性与深度图像先验的无训练方法是否能在 CASSI 中实现更优的 HSI 重建性能？
• RQ2 所提出的 Fama-SDIP 算法在重建质量与速度方面与有监督及无监督基线方法相比如何？
• RQ3 在无需标注数据的情况下，DIP 与稀疏性先验的结合是否能有效正则化病态的 CASSI 反问题？
• RQ4 在低信噪比条件或真实测量噪声下，该方法是否能保持高光谱保真度与空间细节？

主要发现

• Fama-SDIP 在模拟与真实 CASSI 数据集上均实现最先进性能，显著优于 GPSR、TwIST、GAP-TV、PnP-DIP 与 DGSMP 在 PSNR 与 SSIM 指标上的表现。
• 在包含 18 个光谱通道、512×512 空间分辨率的真实数据上，Fama-SDIP 生成的图像边缘更清晰，伪影更少，优于所有对比方法。
• 该方法仅用 10.75 分钟完成 HSI 重建，相比 PnP-DIP（115.63 分钟）实现超过 10 倍的速度提升，且结果更优。
• 在选定区域，Fama-SDIP 与参考光谱的光谱相关性（r > 0.98），表明其具有更优的光谱保真度。
• 该算法在真实世界条件下表现出强鲁棒性，优于 PnP-HSI，后者因真实数据中的领域偏移而表现甚至不如 GAP-TV。
• 基于稀疏性的热启动策略显著加快了交替最小化过程的收敛速度，并提升了稳定性。