[论文解读] Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive Imaging

Zhuoyuan Wu, Jian Zhang+1 more|arXiv (Cornell University)|Sep 14, 2021

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出一种结合3D-CNN先验的密集深度展开网络，用于快照压缩成像，将半二次分裂（Half-Quadratic Splitting）迭代过程展开为深度网络结构，同时引入3D-CNN以建模时空相关性。通过引入密集特征图融合与自适应融合模块，减少各阶段之间的信息损失，实现了SOTA性能，PSNR提升0.45dB，并在真实世界数据上表现出更强鲁棒性。

ABSTRACT

Snapshot compressive imaging (SCI) aims to record three-dimensional signals via a two-dimensional camera. For the sake of building a fast and accurate SCI recovery algorithm, we incorporate the interpretability of model-based methods and the speed of learning-based ones and present a novel dense deep unfolding network (DUN) with 3D-CNN prior for SCI, where each phase is unrolled from an iteration of Half-Quadratic Splitting (HQS). To better exploit the spatial-temporal correlation among frames and address the problem of information loss between adjacent phases in existing DUNs, we propose to adopt the 3D-CNN prior in our proximal mapping module and develop a novel dense feature map (DFM) strategy, respectively. Besides, in order to promote network robustness, we further propose a dense feature map adaption (DFMA) module to allow inter-phase information to fuse adaptively. All the parameters are learned in an end-to-end fashion. Extensive experiments on simulation data and real data verify the superiority of our method. The source code is available at https://github.com/jianzhangcs/SCI3D.

研究动机与目标

• 解决基于模型的方法在计算复杂度方面的局限性，以及基于学习的方法在可解释性与泛化能力方面的不足。
• 通过利用视频帧间的时空相关性，提升快照压缩成像中的重建质量。
• 减少深度展开网络中相邻阶段因特征上采样/下采样导致的信息损失。
• 通过自适应、可学习的融合机制，增强特征在各阶段间的传播能力。
• 实现端到端可训练、可解释性强且高性能的SCI重建，具备真实世界应用潜力。

提出的方法

• 将半二次分裂（HQS）算法的每轮迭代展开为网络的一个阶段，结合基于模型的优化与深度学习方法。
• 在邻近映射模块中引入3D-CNN先验，显式建模视频序列中的时空相关性。
• 提出一种密集特征图（DFM）融合策略，将相邻阶段的特征图进行拼接，减少特征传播过程中的信息损失。
• 设计一种密集特征图自适应模块（DFMA），学习性地加权并融合各阶段特征，实现有用信息的选择性传递。
• 使用真实数据与模拟数据联合训练网络所有组件，损失函数基于标准重建指标进行优化。
• 采用10阶段网络架构（K=10），在精度、内存占用与推理速度之间实现良好平衡。

Figure 1: Illustration of the video SCI (left) and our proposed method (right). Left : a sequence of video frames $\mathbf{x}$ are passed through dynamic masks $\boldsymbol{\Phi}$ and then compressed to the measurement $\mathbf{y}$ . Normalized measurement $\overline{\mathbf{y}}$ is acquired by elem

实验结果

研究问题

• RQ1 通过建模时空相关性，3D-CNN先验是否能显著提升视频快照压缩成像的重建质量？
• RQ2 在相邻阶段之间采用密集特征图融合是否能减少信息损失并提升深度展开网络的性能？
• RQ3 自适应融合机制（DFMA）是否能优于固定或非自适应的特征融合方式？
• RQ4 在真实世界噪声测量数据下，所提方法与SOTA方法相比，在PSNR、视觉质量与鲁棒性方面表现如何？
• RQ5 在重建精度与计算成本之间取得最佳平衡时，网络阶段数（K）的最优值是多少？

主要发现

• 通过结合DFM融合与DFMA模块，所提方法在平均PSNR上相比基线方法提升0.45dB，显著提升性能。
• 与2D-CNN基线相比，3D-CNN先验在平均重建质量上提升1.72dB，证实了时序建模的重要性。
• 相比仅使用DFM的基线，DFMA模块额外带来0.32dB的PSNR增益，表明自适应特征融合具有显著优势。
• 在真实世界数据（WaterBalloon, Dominoes）上，即使在高噪声条件下，该方法仍能生成更清晰的轮廓与更少的伪影，优于SOTA方法。
• 在所有测试数据集上，包括高运动复杂序列，该方法在PSNR与视觉质量方面均表现最佳。
• 当K=10时，该方法在性能与计算成本之间达到最优平衡，进一步增加K值带来的性能增益已趋于饱和。

Figure 2: Illustration of each phase in our proposed network. Data module solves Eqs. ( 10 )( 11 ) and prior module solves Eq. ( 13 ). $\mathbf{F}^{k-1}$ represents dense feature map from the $(k-1)$ -th phase and $\hat{\mathbf{F}}^{k-1}$ denotes its adaptive counterpart. The module of dense feature