[论文解读] Tree-Structure Bayesian Compressive Sensing for Video

Xin Yuan, Patrick Llull+2 more|arXiv (Cornell University)|Oct 12, 2014

Sparse and Compressive Sensing Techniques参考文献 30被引用 9

一句话总结

该论文提出了一种基于树状结构的贝叶斯压缩感知框架，利用彩色-CACTI相机从单个灰度压缩测量中重建最多22帧高帧率彩色视频。通过在贝叶斯推理框架内采用隐马尔可夫树（HMT）模型，对小波和DCT系数的三维树状结构进行建模，有效捕捉了空间、时间与色彩通道之间的依赖关系，从而在重建质量上优于现有最先进算法，在仿真中PSNR提升最高达3.5 dB，并在真实实验中清晰恢复了动态运动。

ABSTRACT

A Bayesian compressive sensing framework is developed for video reconstruction based on the color coded aperture compressive temporal imaging (CACTI) system. By exploiting the three dimension (3D) tree structure of the wavelet and Discrete Cosine Transformation (DCT) coefficients, a Bayesian compressive sensing inversion algorithm is derived to reconstruct (up to 22) color video frames from a single monochromatic compressive measurement. Both simulated and real datasets are adopted to verify the performance of the proposed algorithm.

研究动机与目标

• 开发一种贝叶斯压缩感知反演算法，从彩色-CACTI相机捕获的低速率压缩测量中重建高帧率彩色视频。
• 利用小波和DCT系数在空间、时间与色彩通道上的三维（3D）树状结构，提升重建保真度。
• 通过物理上可实现的、低功耗的压缩成像系统，仅使用单个灰度测量实现高质量视频重建。
• 在仿真与真实世界视频重建中，性能优于现有压缩感知反演方法，如GAP、TwIST、K-SVD、GMM和线性Bregman算法。

提出的方法

• 在分层贝叶斯框架内，利用隐马尔可夫树（HMT）模型对小波和DCT系数的三维树状结构进行建模，以捕捉空间、时间与色度之间的依赖关系。
• 采用变分贝叶斯推断估计超参数与噪声方差，包括对精度和混合比例使用Gamma与Beta先验分布。
• 重建过程采用分层先验模型，其中各层级的精度参数τℓ与混合比例πℓ分别通过Gamma与Beta分布建模。
• 算法引入测量模型，其中每个压缩测量Y_l是经移动二值掩模调制的视频帧的加权和，通过逐元素乘法（Hadamard积）表示。
• 关键方程包括精度τℓ的后验期望⟨τℓ⟩ = (c₀ + 0.5∑Nℓ) / (d₀ + 0.5∑∑⟨w²j,i⟩)，以及对混合比例πℓ使用超参数设置以促进稀疏性与结构化的Beta先验分布。
• 该方法应用于使用彩色-CACTI相机捕获的仿真与真实数据集，空间变换采用Daubechies-8小波，时间变换采用DCT。

实验结果

研究问题

• RQ1 基于彩色-CACTI系统的单个灰度压缩测量，树状结构贝叶斯压缩感知框架能否有效重建高帧率彩色视频？
• RQ2 与标准压缩感知方法相比，利用小波与DCT系数的三维树状结构如何提升视频重建性能？
• RQ3 采用分层HMT模型结合变分贝叶斯推断对重建质量与计算效率有何影响？
• RQ4 与当前最先进的压缩感知反演算法（如GAP、TwIST、K-SVD、GMM与线性Bregman）相比，该方法在定量与定性指标上表现如何？
• RQ5 该算法能否从低帧率测量中恢复真实视频序列中的精细时间动态，如快速运动、旋转与冲击事件？

主要发现

• 所提出的树状结构贝叶斯CS方法在包含篮球扣篮序列的仿真视频数据上，相比竞争算法PSNR最高提升达3.5 dB。
• 在真实实验中，该方法成功从单个压缩测量中重建出22帧高帧率视频，清晰捕捉了如旋转的红苹果与铁锤击打苹果等动态事件。
• 在PSNR与视觉质量方面，该算法在PSNR与视觉质量上均优于GAP、TwIST、线性Bregman、K-SVD与GMM，尤其在保留精细运动细节与减少伪影方面表现突出。
• 采用分层HMT模型结合变分贝叶斯推断，实现了对稀疏性与系数结构的稳健估计，显著提升了重建保真度。
• 该方法在复杂运动与光照变化的挑战性场景中表现优异，验证了其在真实环境下的鲁棒性。
• 该算法仅使用每帧组一个测量即实现高质量重建，验证了彩色-CACTI系统在低数据率视频采集中的高效性。