[论文解读] Spatio-temporal Compressed Sensing with Coded Apertures and Keyed Exposures

Zachary T. Harmany, Roummel F. Marcia+1 more|arXiv (Cornell University)|Nov 30, 2011

Sparse and Compressive Sensing Techniques参考文献 48被引用 12

一句话总结

本文提出了一种基于编码孔径和按键曝光的时空压缩感知框架，通过少量测量实现高分辨率视频重建。通过利用幅度调制或相位偏移生成满足限制等距性（RIP）的结构化投影，该方法确保了稀疏视频序列的稳定重建，具备理论保证，并采用结合非负性和时间相关性的快速凸优化算法。

ABSTRACT

Optical systems which measure independent random projections of a scene according to compressed sensing (CS) theory face a myriad of practical challenges related to the size of the physical platform, photon efficiency, the need for high temporal resolution, and fast reconstruction in video settings. This paper describes a coded aperture and keyed exposure approach to compressive measurement in optical systems. The proposed projections satisfy the Restricted Isometry Property for sufficiently sparse scenes, and hence are compatible with theoretical guarantees on the video reconstruction quality. These concepts can be implemented in both space and time via either amplitude modulation or phase shifting, and this paper describes the relative merits of the two approaches in terms of theoretical performance, noise and hardware considerations, and experimental results. Fast numerical algorithms which account for the nonnegativity of the projections and temporal correlations in a video sequence are developed and applied to microscopy and short-wave infrared data.

研究动机与目标

• 为解决光学压缩感知中的实际挑战，包括光子效率低、物理尺寸大以及视频系统时间分辨率有限等问题。
• 开发一种统一的时空感知框架，结合编码孔径与按键曝光，实现快照式视频采集。
• 通过证明所提出的感知矩阵满足稀疏场景下的限制等距性（RIP），确保重建的理论稳定性。
• 设计高效的、考虑非负性的凸优化算法，利用视频序列中的时间相关性。
• 在显微成像与短波红外成像数据上实验验证该方法，证明其重建质量显著优于现有方法。

提出的方法

• 该方法使用一个结合空间编码孔径与时间按键曝光的感知矩阵A，对视频序列生成随机投影。
• 编码孔径通过二值掩模图案调制光强，而按键曝光通过快速启停周期控制快门时间，以编码时间信息。
• 感知过程建模为线性系统 y = A f*，其中 f* 为向量化视频序列，A 是由托普利茨块构成的结构化矩阵。
• 理论分析证明，在测量数与场景稀疏度之比满足一定条件时，A 以高概率满足限制等距性（RIP）。
• 开发了一套凸优化框架，强制像素强度非负，并利用视频帧间的时间相关性。
• 通过针对感知矩阵结构与视频稀疏性的定制化迭代算法，高效求解该优化问题。

实验结果

研究问题

• RQ1 能否通过压缩感知原理，在单一光学系统中同时实现高时间分辨率与高空间分辨率？
• RQ2 如何协同设计编码孔径与按键曝光，以使视频信号满足限制等距性（RIP）？
• RQ3 采用这种混合感知方法时，视频重建的理论性能保证是什么？
• RQ4 在噪声鲁棒性与硬件可行性方面，幅度调制与相位偏移相比有何差异？
• RQ5 快速、考虑非负性的重建算法能否有效利用视频序列中的时间相关性？

主要发现

• 所提出的CAKE感知矩阵在满足 n/d ≥ c₁s²log(nB) 条件时，以高概率满足限制等距性（RIP），其中 n 为每帧像素数，d 为每帧测量数，s 为稀疏度，B 为帧数。
• 理论边界表明，RIP失败的概率随 n 呈指数衰减，从而确保足够稀疏场景下的稳定重建。
• 幅度调制与相位偏移在理论性能上表现相当，但幅度调制具有更好的噪声鲁棒性与更简单的硬件实现。
• 在显微成像与短波红外数据上的数值实验表明，该方法以更少的测量数实现了高质量重建，优于传统方法。
• 所提出的凸优化算法结合了非负性与时间相关性，相比标准压缩感知求解器，收敛速度更快，重建保真度更高。
• 该方法通过编码孔径与曝光模式复用空间与时间信息，使低帧率传感器也能实现快照式视频采集。