[论文解读] Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging

Ziyi Meng, Zhenming Yu+2 more|arXiv (Cornell University)|Aug 28, 2021

Sparse and Compressive Sensing Techniques参考文献 54被引用 6

一句话总结

本文提出一种用于光谱快照压缩感知成像（SCI）重建的自监督神经网络框架，该框架在即插即用（PnP）优化方案中利用未训练的深度神经网络作为先验，无需任何训练数据。该方法在合成与真实数据集上均实现了具有竞争力的重建质量，与监督深度学习基线模型相当或更优，尤其在结合预训练的高光谱去噪先验时，在真实噪声条件下展现出最先进性能。

ABSTRACT

We consider using {\bf\em untrained neural networks} to solve the reconstruction problem of snapshot compressive imaging (SCI), which uses a two-dimensional (2D) detector to capture a high-dimensional (usually 3D) data-cube in a compressed manner. Various SCI systems have been built in recent years to capture data such as high-speed videos, hyperspectral images, and the state-of-the-art reconstruction is obtained by the deep neural networks. However, most of these networks are trained in an end-to-end manner by a large amount of corpus with sometimes simulated ground truth, measurement pairs. In this paper, inspired by the untrained neural networks such as deep image priors (DIP) and deep decoders, we develop a framework by integrating DIP into the plug-and-play regime, leading to a self-supervised network for spectral SCI reconstruction. Extensive synthetic and real data results show that the proposed algorithm without training is capable of achieving competitive results to the training based networks. Furthermore, by integrating the proposed method with a pre-trained deep denoising prior, we have achieved state-of-the-art results. {Our code is available at \url{https://github.com/mengziyi64/CASSI-Self-Supervised}.}

研究动机与目标

• 解决基于深度学习的光谱SCI重建中真实世界训练数据不足的问题，该问题限制了对未见场景的泛化能力。
• 克服监督网络在训练数据中未包含的光谱上表现失败的局限性，例如在Bird数据集中的表现。
• 开发一种利用深度神经网络先验但无需任何标注训练数据的重建框架。
• 提升光谱SCI系统中真实测量噪声（尤其是泊松噪声）下的鲁棒性。
• 通过将所提出的自监督方法与预训练深度去噪先验结合，实现最先进性能。

提出的方法

• 将深度图像先验（DIP）集成到即插即用（PnP）优化框架中，仅从压缩测量中实现自监督学习。
• 使用交替方向乘子法（ADMM）在迭代PnP步骤中联合优化神经网络权重与三维数据立方体重建。
• 将重建问题表述为约束优化问题，其中未训练的DNN作为先验以正则化解空间。
• 通过总变差（TV）先验进行热启动，以加速收敛并在真实数据实验中改善初始化。
• 通过将PnP-DIP框架与预训练的高光谱图像去噪网络（HSI-DN）结合，进一步提升性能，形成联合重建先验。
• 通过微调，按数据集调整网络架构与超参数，无需任何标注数据。

实验结果

研究问题

• RQ1 未训练的深度神经网络是否可在无任何训练数据的情况下，作为光谱SCI重建的有效先验？
• RQ2 将DIP集成到PnP框架中，是否能比直接应用DIP或监督网络在未见光谱数据上获得更优的重建质量？
• RQ3 所提出的自监督方法在真实SCI测量中常见的泊松噪声条件下表现如何？
• RQ4 通过结合预训练的深度去噪先验，是否能进一步提升自监督方法的性能？
• RQ5 所提出的框架在多样化的光谱SCI系统中是否具有鲁棒性，包括那些缺乏或无可用训练数据的系统？

主要发现

• 所提出的自监督PnP-DIP方法在合成与真实数据集上均实现了与最先进监督深度学习网络（如TSA-Net）相当的重建质量。
• 在真实CASSI数据（如乐高植物与草莓）上，该方法产生的伪影更少，光谱精度更高，尤其在选定区域的光谱曲线中优于TSA-Net与ADMM-TV。
• 对于具有24个光谱通道的内窥显微镜数据，该方法恢复的空间分辨率更高，细节更清晰，优于ADMM-TV与训练过的DNN，且光谱轮廓更准确。
• 该方法对泊松噪声表现出更优的鲁棒性，在低信噪比（如25dB SNR）条件下，其重建误差低于监督基线。
• 当与预训练的HSI去噪先验结合时，该框架在所有测试数据集上均实现了最先进结果，包括无任何训练数据的其他SCI系统数据。
• 该方法在具有挑战性的数据集（如狗嗅觉膜切片）上也有效，相比监督方法显著减少了伪影。