[论文解读] Compressive Acquisition of Dynamic Scenes

Aswin C. Sankaranarayanan, Pavan Turaga+2 more|arXiv (Cornell University)|Jan 23, 2012

Sparse and Compressive Sensing Techniques参考文献 35被引用 6

一句话总结

该论文提出CS-LDS，一种用于视频采集的压缩感知框架，将动态场景建模为线性动态系统（LDS），从而在远低于奈奎斯特采样率的情况下实现恢复。通过将时变状态与时不变观测矩阵分离，并采用两步压缩测量策略，该方法实现了高效的重建与参数估计，显著减少了采样需求，同时支持场景分类等下游任务。

ABSTRACT

Compressive sensing (CS) is a new approach for the acquisition and recovery of sparse signals and images that enables sampling rates significantly below the classical Nyquist rate. Despite significant progress in the theory and methods of CS, little headway has been made in compressive video acquisition and recovery. Video CS is complicated by the ephemeral nature of dynamic events, which makes direct extensions of standard CS imaging architectures and signal models difficult. In this paper, we develop a new framework for video CS for dynamic textured scenes that models the evolution of the scene as a linear dynamical system (LDS). This reduces the video recovery problem to first estimating the model parameters of the LDS from compressive measurements, and then reconstructing the image frames. We exploit the low-dimensional dynamic parameters (the state sequence) and high-dimensional static parameters (the observation matrix) of the LDS to devise a novel compressive measurement strategy that measures only the dynamic part of the scene at each instant and accumulates measurements over time to estimate the static parameters. This enables us to lower the compressive measurement rate considerably. We validate our approach with a range of experiments involving both video recovery, sensing hyper-spectral data, and classification of dynamic scenes from compressive data. Together, these applications demonstrate the effectiveness of the approach.

研究动机与目标

• 为应对高维数据下动态、短暂场景的压缩视频采集挑战。
• 通过利用线性动态系统（LDS）中的低维动态特性，减少视频恢复所需的压缩测量数量。
• 设计一种将时变状态与时不变观测矩阵分离的测量策略，以实现高效的参数估计。
• 仅使用压缩测量实现视频恢复与特征提取（例如用于分类），而无需完整视频重建。

提出的方法

• 将视频建模为具有状态序列和观测矩阵的线性动态系统（LDS），利用低维动态特性降低复杂度。
• 设计两步压缩测量策略：首先测量时变状态，然后累积测量以估计时不变观测矩阵。
• 使用凸优化从压缩测量中求解LDS参数，利用状态序列和观测矩阵的稀疏性先验。
• 采用分块汉克尔矩阵结构，利用LDS生成的视频序列的低秩特性，实现高效恢复。
• 采用顺序估计框架，支持在线参数更新并降低计算负担。
• 将LDS先验整合到压缩感知框架中，实现在欠采样线性测量下的恢复。

实验结果

研究问题

• RQ1 能否通过将动态场景建模为线性动态系统（LDS）来有效应用压缩感知于视频？
• RQ2 如何设计压缩测量，以高效估计基于LDS的视频模型中的时变状态与时不变观测矩阵？
• RQ3 与奈奎斯特采样相比，CS-LDS框架在准确恢复视频时所需的理论测量率是多少？
• RQ4 LDS框架在仅使用少量测量的情况下，对下游任务（如场景分类）的支持程度如何？
• RQ5 当仅能获取压缩测量时，CS-LDS的性能与传统视频压缩（如MPEG-4）相比如何？

主要发现

• CS-LDS通过利用线性动态系统（LDS）的低维动态特性，实现了远低于奈奎斯特率的视频恢复。
• 两步测量策略实现了LDS参数的高效估计，通过优先聚焦于时变状态，显著减少了所需压缩测量的数量。
• 该框架仅使用压缩测量即可实现准确的视频重建与场景分类，即使在无完整视频访问的情况下亦可实现。
• 在等效重建信噪比下，MPEG-4的视觉质量优于CS-LDS，这是由于其非线性、感知优化的编码方式，凸显了线性压缩模型的局限性。
• 该方法在包含数百万变量的大视频上计算可行，其可扩展性优于基于直接汉克尔矩阵的仿射秩最小化方法。
• 由于其两步测量设计，该框架并非通用，但可实现高维视频信号的快速、可扩展恢复。