[论文解读] LiSens --- A Scalable Architecture for Video Compressive Sensing

Jian Wang, Mohit Gupta+1 more|arXiv (Cornell University)|Mar 14, 2015

Optical Coherence Tomography Applications参考文献 21被引用 6

一句话总结

LiSens 提出了一种新型压缩感知架构，用一维线传感器替代传统单像素相机中的单像素探测器，将测量速率提升至 1 MHz——比传统单像素相机（SPC）快约 50 倍——从而实现使用低成本、低分辨率传感器的视频速率、兆像素分辨率成像。该设计将帧率瓶颈从空间光调制器（SLM）转移至传感器读出，实现了基于稀疏性的高速、高分辨率视频感知。

ABSTRACT

The measurement rate of cameras that take spatially multiplexed measurements by using spatial light modulators (SLM) is often limited by the switching speed of the SLMs. This is especially true for single-pixel cameras where the photodetector operates at a rate that is many orders-of-magnitude greater than the SLM. We study the factors that determine the measurement rate for such spatial multiplexing cameras (SMC) and show that increasing the number of pixels in the device improves the measurement rate, but there is an optimum number of pixels (typically, few thousands) beyond which the measurement rate does not increase. This motivates the design of LiSens, a novel imaging architecture, that replaces the photodetector in the single-pixel camera with a 1D linear array or a line-sensor. We illustrate the optical architecture underlying LiSens, build a prototype, and demonstrate results of a range of indoor and outdoor scenes. LiSens delivers on the promise of SMCs: imaging at a megapixel resolution, at video rate, using an inexpensive low-resolution sensor.

研究动机与目标

• 为克服空间复用相机（SMC），特别是单像素相机（SPC）中的帧率限制，其测量速率受限于空间光调制器（SLM）的开关速度。
• 确定 SMC 中传感器分辨率与测量速率之间的最优权衡，揭示当像素数超过数千时，进一步提高分辨率无法提升帧率。
• 设计一种可扩展、低成本的成像架构，实现高速测量速率与高空间分辨率，以支持视频压缩感知。
• 证明将单像素探测器替换为一维线传感器，可实现使用廉价、低分辨率传感器的兆像素分辨率视频速率成像。

提出的方法

• LiSens 架构采用一维线性阵列（线传感器）替代单个光电探测器，每个传感器像素通过光学方式映射到 DMD 上的一行微镜。
• 系统通过 DMD 投影空间复用图案，并在时间上对线传感器上的光进行积分，捕获场景的编码线积分。
• 光学设计确保每个线传感器像素测量对应 DMD 行图像强度的加权和，从而实现压缩感知，其测量矩阵 A 编码了空间复用特性。
• 该方法利用图像域中的稀疏性，结合三维总变差（TV）和运动流先验，从欠采样测量中重建出高质量视频。
• 通过将帧率与 SLM 开关速度解耦，使线传感器读出速率成为新的瓶颈，从而实现高测量速率。
• 搭建了基于 DMD 和 1024 像素线传感器的实验原型，在室内和室外场景中进行了验证，涵盖不同运动程度和噪声水平。

实验结果

研究问题

• RQ1 在空间复用相机中，传感器的最优像素数是多少，可使测量速率最大化？
• RQ2 用一维线传感器替代单像素探测器，能否显著提升压缩感知相机的测量速率？
• RQ3 通过压缩感知，能否在使用低成本、低分辨率传感器的前提下，实现高分辨率、视频速率成像？
• RQ4 时空先验（如三维 TV 和运动流）在高欠采样因子下，对重建质量的提升程度如何？
• RQ5 LiSens 架构能否在非可见光波段中实现与全帧传感器相当的视频速率性能，同时保持低成本？

主要发现

• LiSens 实现了接近 1 MHz 的测量速率，约为传统单像素相机（SPC） 20 kHz 限制的 50 倍。
• 原型成功以 5–10 帧/秒的速度捕获 1024×768 分辨率图像，证明了在兆像素分辨率下实现视频速率压缩感知。
• 在 8 倍欠采样因子下，LiSens 的重建质量优于 SPC 在 7.4 倍欠采样因子下的表现，原因在于图像稀疏性随分辨率呈次线性增长。
• 对于动态场景（如旋转的兔子），LiSens 使用三维总变差先验和中值滤波技术，在 9 fps 下成功重建出保留空间细节的视频。
• 在噪声水平更高的户外场景中，重建质量下降，表明在复杂条件下需引入更强的先验（如运动流模型）以提升性能。
• 线传感器设计将帧率瓶颈从 SLM 转移至传感器读出，实现了无需高速 SLM 的可扩展、高速压缩成像。