[论文解读] Deep Equilibrium Models for Video Snapshot Compressive Imaging

Yaping Zhao, Siming Zheng+1 more|arXiv (Cornell University)|Jan 18, 2022

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

本文提出深度平衡模型（DEQ）用于视频快照压缩感知成像，通过学习非扩张算子并解析计算不动点，实现理论上的无限深度网络与恒定内存消耗。该方法无需超参数调优即可实现稳定、高保真重建，在仿真与真实数据上均优于现有的RNN和PnP模型。

ABSTRACT

The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models are available at: https://github.com/IndigoPurple/DEQSCI .

研究动机与目标

• 解决基于深度学习的视频快照压缩感知成像（SCI）重建方法中存在的不稳定与内存效率低下问题。
• 克服固定深度网络与需手动调优超参数的迭代算法的局限性。
• 在训练与推理过程中实现恒定内存消耗的理论无限优化步数。
• 通过在平衡网络中嵌入非扩张算子，确保收敛至稳定且高质量的重建结果。
• 将DEQ集成至现有SCI框架——RNN与插件式（Plug-and-Play，PnP）——以提升性能，且无需架构重构。

提出的方法

• 通过将重建过程建模为学习到的非扩张算子的不动点迭代，将深度平衡模型（DEQ）应用于视频SCI。
• 使用神经网络隐式定义平衡算子，以迭代不动点计算替代显式深度。
• 通过隐函数定理解析计算不动点，实现在训练与推理过程中无限深度与恒定内存消耗。
• 将DEQ集成至两种现有SCI框架：循环神经网络（DE-RNN）与结合GAP去噪器的插件式方法（DE-GAP）。
• 通过训练神经网络使其输出非扩张算子，满足不动点稳定性的理论条件，确保收敛。
• 利用精确梯度进行训练，未来可扩展至非精确梯度以提升训练效率。

实验结果

研究问题

• RQ1 深度平衡模型能否在恒定内存消耗下实现无限迭代步数，并达成稳定、高精度的视频SCI重建？
• RQ2 DEQ如何提升现有基于RNN与PnP的SCI重建框架的稳定性与性能？
• RQ3 DEQ能否在保持或提升重建质量的同时，消除迭代SCI重建中的超参数调优需求？
• RQ4 与具有有限深度的标准迭代网络相比，DEQ中的不动点计算是否展现出更优的收敛行为？
• RQ5 基于DEQ的方法在视频SCI的真实噪声测量中是否具备良好的泛化能力？

主要发现

• 所提出的DE-RNN与DE-GAP模型在迭代次数不断增加时均实现稳定收敛，重建质量随时间持续提升并趋于稳定。
• 在Water Balloon与Chopper Wheel等真实数据集上，DE-GAP在减少伪影与噪声的同时保持结构细节，优于GAP-TV、DeSCI与PnP-FFDNet。
• DE-GAP每组测量的处理时间为1.90秒，显著快于DeSCI（6180秒），且与其他最先进方法相当。
• DE-RNN与DE-GAP在仿真数据集上展现出优于基线RNN与PnP方法的定量性能，PSNR与SSIM值更高。
• 该方法在真实测量中高噪声条件下仍保持高重建质量，展现出强鲁棒性与泛化能力。
• 初步实验表明，非精确梯度可使反向传播加速1.3–1.5倍，提示未来有望进一步提升训练效率。