[论文解读] GAP-net for Snapshot Compressive Imaging

Ziyi Meng, Shirin Jalali+1 more|arXiv (Cornell University)|Dec 13, 2020

Sparse and Compressive Sensing Techniques参考文献 55被引用 74

一句话总结

GAP-net 通过在每个阶段插入可训练的 CNN 去噪器，展开快照压缩成像的广义交替投影框架，在收敛性保证的前提下实现有竞争力的视频和光谱 SCI 性能。

ABSTRACT

Snapshot compressive imaging (SCI) systems aim to capture high-dimensional ($\ge3$D) images in a single shot using 2D detectors. SCI devices include two main parts: a hardware encoder and a software decoder. The hardware encoder typically consists of an (optical) imaging system designed to capture {compressed measurements}. The software decoder on the other hand refers to a reconstruction algorithm that retrieves the desired high-dimensional signal from those measurements. In this paper, using deep unfolding ideas, we propose an SCI recovery algorithm, namely GAP-net, which unfolds the generalized alternating projection (GAP) algorithm. At each stage, GAP-net passes its current estimate of the desired signal through a trained convolutional neural network (CNN). The CNN operates as a denoiser that projects the estimate back to the desired signal space. For the GAP-net that employs trained auto-encoder-based denoisers, we prove a probabilistic global convergence result. Finally, we investigate the performance of GAP-net in solving video SCI and spectral SCI problems. In both cases, GAP-net demonstrates competitive performance on both synthetic and real data. In addition to having high accuracy and high speed, we show that GAP-net is flexible with respect to signal modulation implying that a trained GAP-net decoder can be applied in different systems. Our code is at https://github.com/mengziyi64/ADMM-net.

研究动机与目标

• 开发一个可同时适用于视频 SCI 和光谱 SCI 的统一重建方法。
• 在基于 GAP 的投影方案的每个阶段中引入基于 CNN 的去噪器。
• 为基于 AE 的 GAP-net 提供理论收敛性保证。
• 在合成与真实 SCI 数据上展示有竞争力的精度与速度。

提出的方法

• 将 SCI 重建公式化为最小化(1/2)||y-Hx||^2 + tau*Omega(x)。
• 使用 GAP 迭代地投影到线性模型 y=Hx，配合一个辅助变量 v。
• 在每个阶段，执行欧几里得投影 x^(k+1)=v^(k)+H^T(HH^T)^{-1}(y-Hv^(k))。
• 将训练好的 CNN 去噪器 D_{k+1} 应用于将 x^(k+1)again 映射回信号空间，产生 v^(k+1)=D_{k+1}(x^(k+1))。
• 为视频和光谱 SCI 训练阶段特定的去噪器（AE、DnCNN、U-net、ResNet）。
• 给出收敛性分析，在给定条件下证明基于 AE 的 GAP-net 的全局收敛性。

实验结果

研究问题

• RQ1 GAP-net 是否能够在一个框架内为视频 SCI 与光谱 SCI 提供准确的重建？
• RQ2 分阶段的 CNN 去噪器是否在提高重建质量的同时保持计算效率？
• RQ3 在快照压缩成像场景下，基于 AE 的 GAP-net 的收敛性保证是什么？
• RQ4 在合成和真实 SCI 数据集上，GAP-net 与其他迭代、端到端和 PnP 方法相比的表现如何？

主要发现

Method	Kobe	Traffic	Runner	Drop	Vehicle	Aerial	Average	time (s)
GAP-TV	26.46	20.89	28.52	34.63	24.82	25.05	26.73	4.2
DeSCI	33.25	28.72	38.76	43.22	25.33	27.04	32.72	6180
E2E-CNN	29.02	23.45	34.43	36.77	26.40	27.52	29.26	0.023
BIRNAT	32.71	29.33	38.70	42.28	27.84	28.99	33.31	0.16
PnP-FFDnet	30.50	24.18	32.15	40.70	25.42	25.27	29.70	3.0
Tensor-ADMM-net	30.50	NA	NA	NA	25.42	NA	NA	2.1
Tensor-FISTA-net	31.41	NA	NA	NA	26.46	NA	NA	1.7
GAP-net-AE-S9	24.20	21.13	29.18	32.21	24.19	24.41	25.89	0.0036
GAP-net-DnCNN-S9	31.09	27.36	37.49	41.52	27.57	28.56	32.27	0.0081
GAP-net-ResNet-S9	31.57	27.61	37.70	41.75	27.68	28.74	32.51	0.0040
ADMM-net-Unet-S9	31.87	27.88	37.75	41.41	27.58	28.70	32.53	0.0058
GAP-net-Unet-S9	31.76	27.87	37.89	41.43	27.53	28.57	32.51	0.0052
GAP-net-Unet-S12	32.09	28.19	38.12	42.02	27.83	28.88	32.86	0.0072

• GAP-net 在 PSNR/SSIM 上具有竞争力，同时运行时间显著快于 DeSCI 和许多其他方法。
• 使用 9 阶段并配备 U-net 或 ResNet 去噪器，在六个合成视频 SCI 数据集（Kobe、Traffic、Runner、Drop、Vehicle、Aerial）上获得比若干基线更高的重建质量。
• 在使用 ResNet 的情况下，GAP-net 9 阶段并具备快速 CNN 去噪器时，每次测量约 ~4 ms，使近实时重建成为可能。
• 在真实视频 SCI 数据上，GAP-net 提供比若干基线更清晰的运动细节和更干净的背景。
• 对于光谱 SCI，9 阶段且使用 U-net 去噪器的 GAP-net 在合成数据的 10 个场景中在 PSNR/SSIM 上优于多种迭代和基于学习的方法，并在真实数据上呈现出强烈的定性结果。
• 理论结果在所选生成模型和感知假设下确立了基于 AE 的 GAP-net 的全局收敛性。