[论文解读] FPA-CS: Focal Plane Array-based Compressive Imaging in Short-wave Infrared

Huaijin Chen, M. Salman Asif+2 more|arXiv (Cornell University)|Apr 16, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用 8

一句话总结

本文提出FPA-CS，一种基于焦平面阵列的压缩感知架构，采用64×64并行单像素相机，实现在短波红外（SWIR）波段的兆像素分辨率、视频速率成像。通过利用并行压缩测量和三维总变差重建，该原型相比单像素相机将测量速率提高了4096倍，实现了低成本、实时、高分辨率的SWIR成像。

ABSTRACT

Cameras for imaging in short and mid-wave infrared spectra are significantly more expensive than their counterparts in visible imaging. As a result, high-resolution imaging in those spectrum remains beyond the reach of most consumers. Over the last decade, compressive sensing (CS) has emerged as a potential means to realize inexpensive short-wave infrared cameras. One approach for doing this is the single-pixel camera (SPC) where a single detector acquires coded measurements of a high-resolution image. A computational reconstruction algorithm is then used to recover the image from these coded measurements. Unfortunately, the measurement rate of a SPC is insufficient to enable imaging at high spatial and temporal resolutions. We present a focal plane array-based compressive sensing (FPA-CS) architecture that achieves high spatial and temporal resolutions. The idea is to use an array of SPCs that sense in parallel to increase the measurement rate, and consequently, the achievable spatio-temporal resolution of the camera. We develop a proof-of-concept prototype in the short-wave infrared using a sensor with 64$ imes$ 64 pixels; the prototype provides a 4096$ imes$ increase in the measurement rate compared to the SPC and achieves a megapixel resolution at video rate using CS techniques.

研究动机与目标

• 为克服单像素相机（SPC）测量速率低的问题，从而限制高分辨率、视频速率SWIR成像。
• 解决高分辨率SWIR传感器成本高昂的问题，这些传感器由昂贵的材料（如InGaAs）制成。
• 基于压缩感知原理，开发一种可扩展、低成本的传统SWIR相机替代方案。
• 在压缩感知架构中平衡空间-带宽积约束，以提升时空分辨率。
• 展示一个功能原型，能够在SWIR波段以视频速率重建1兆像素视频。

提出的方法

• FPA-CS架构采用64×64单像素传感器焦平面阵列，每个传感器作为独立的SPC，实现并行获取压缩测量。
• 阵列中的每个传感器通过DMD空间光调制器提供的可编程调制掩模，测量场景亮度的编码线性组合。
• 由4096个SPC共同构成的系统矩阵被设计为条件良好，以确保图像重建的稳定性和鲁棒性。
• 采用三维总变差（3D-TV）优化问题，通过利用时空冗余来重建视频序列。
• 评估了两种调制模式——哈达玛码和随机二值码，两者均实现50%的光透过率，且重建质量几乎相同。
• 在重建后应用3D中值滤波器，以抑制由传感器-DMD对准误差引起的运动伪影和方块状伪影。

实验结果

研究问题

• RQ1 并行单像素压缩传感器阵列能否显著提高测量速率，相比单个SPC？
• RQ2 DMD与传感器阵列之间空间-带宽积不匹配对压缩成像性能有何影响？
• RQ3 三维总变差正则化能否有效从压缩测量中重建出高质量、视频速率的SWIR图像？
• RQ4 调制掩模设计（哈达玛码 vs. 随机二值码）对重建保真度和信噪比有何影响？
• RQ5 FPA-CS在多大程度上能够克服传统SWIR成像系统在成本和分辨率方面的限制？

主要发现

• FPA-CS原型相比单像素相机将测量速率提高了4096倍，实现了视频速率成像。
• 该系统成功实现了在短波红外波段以视频速率重建1兆像素图像。
• 在T=16和T=22帧每视频帧的情况下，系统分别实现了32 fps和21.8 fps的有效视频速率，压缩因子分别为α=16和α=11.6。
• 哈达玛码和随机二值码调制掩模均实现了几乎相同的重建质量，且光透过率均为50%。
• 观察到在边缘处存在运动伪影，以及方块状结构伪影，但通过应用3D中值滤波器显著降低。
• 该系统受限于场景复杂度；对于极动态场景（如爆炸气球）因时空冗余度低，无法有效重建。