[论文解读] Compressive Coded Aperture Keyed Exposure Imaging with Optical Flow Reconstruction

Zachary T. Harmany, Roummel F. Marcia+1 more|arXiv (Cornell University)|Jun 26, 2013

Photoacoustic and Ultrasonic Imaging参考文献 56被引用 6

一句话总结

本文提出一种基于编码孔径与关键曝光的压缩视频成像系统，实现高时间分辨率、光子效率高且物理尺寸小的视频重建。通过利用光流建模与双尺度掩模，结合受限等距性质（RIP）的理论保证，实现了快速、精确的重建，仅需少量测量即可恢复高质量视频。

ABSTRACT

This paper describes a coded aperture and keyed exposure approach to compressive video measurement which admits a small physical platform, high photon efficiency, high temporal resolution, and fast reconstruction algorithms. The proposed projections satisfy the Restricted Isometry Property (RIP), and hence compressed sensing theory provides theoretical guarantees on the video reconstruction quality. Moreover, the projections can be easily implemented using existing optical elements such as spatial light modulators (SLMs). We extend these coded mask designs to novel dual-scale masks (DSMs) which enable the recovery of a coarse-resolution estimate of the scene with negligible computational cost. We develop fast numerical algorithms which utilize both temporal correlations and optical flow in the video sequence as well as the innovative structure of the projections. Our numerical experiments demonstrate the efficacy of the proposed approach on short-wave infrared data.

研究动机与目标

• 解决在最小物理硬件条件下实现压缩视频成像中高时间分辨率与光子效率的挑战。
• 通过将编码孔径与关键曝光技术整合到统一的压缩感知框架中，克服传统方法的局限性。
• 通过在重建过程中利用时间相关性与光流模型，实现实时、精确的视频重建。
• 设计双尺度掩模（DSMs），实现近乎瞬时的粗分辨率场景估计，计算成本可忽略不计。
• 针对所提出的测量矩阵，利用受限等距性质（RIP）提供重建质量的理论保证。

提出的方法

• 设计一种压缩感知框架，结合编码孔径与关键曝光，将视频帧复用为少量测量值。
• 使用由随机相位掩模生成的托普利茨结构测量矩阵，以满足受限等距性质（RIP），确保稳定恢复。
• 引入双尺度掩模（DSMs），通过将视频下采样为块并使用低分辨率掩模估计块平均亮度，实现粗略重建。
• 建立一个包含光流约束的凸优化问题，以利用视频序列中的时间一致性。
• 开发快速数值算法，联合利用时间相关性、光流信息以及投影结构的特性，实现高效重建。
• 利用空间光调制器（SLMs）在物理可实现的平台上实现编码掩模与关键曝光。

实验结果

研究问题

• RQ1 基于编码孔径与关键曝光的压缩视频成像系统，能否在紧凑物理尺寸下实现高时间分辨率与光子效率？
• RQ2 如何为所提出的测量矩阵建立受限等距性质（RIP），以确保重建质量的理论保证？
• RQ3 双尺度掩模能否以可忽略的计算成本实现视频序列的粗分辨率估计？其对重建效率的提升效果如何？
• RQ4 在测量数量有限的压缩视频系统中，光流建模在多大程度上可提升重建精度？
• RQ5 所提出的算法在真实短波红外视频数据上的表现如何？重建质量与计算成本之间存在何种权衡？

主要发现

• 所提出的测量矩阵以高概率满足受限等距性质（RIP），确保从少量压缩测量中实现稳定且鲁棒的视频重建。
• 双尺度掩模（DSMs）以极低的计算成本实现视频序列的粗分辨率估计，提供快速初始估计，计算成本几乎可忽略。
• 引入光流约束的重建算法显著提升了恢复精度，有效利用了视频序列中的时间相关性。
• 在短波红外数据上的数值实验表明该方法有效，仅需少量测量即可实现高质量视频重建，且噪声放大程度低。
• 由于使用了结构化矩阵与优化技术，该算法实现了快速重建速度，充分利用了问题的固有稀疏性与时间结构。
• 粗估计中的残差误差较小，因为重建误差的二阶项在平滑视频序列中预期值较小。