[论文解读] The STONE Transform: Multi-Resolution Image Enhancement and Real-Time Compressive Video

Tom Goldstein, Lina Xu+2 more|arXiv (Cornell University)|Nov 14, 2013

Sparse and Compressive Sensing Techniques参考文献 2被引用 26

一句话总结

STONE变换通过结合奈奎斯特速率下的快速直接重建与压缩感知技术，实现了图像和视频的实时、多分辨率重建。利用一种新型多尺度感知算子，它可在嵌入式设备上立即生成预览图像，并通过基于稀疏性的恢复方法后续实现高保真度增强，从而实现减少运动混叠的实时压缩视频，并在时间分辨率上超越奈奎斯特极限。

ABSTRACT

Compressed sensing enables the reconstruction of high-resolution signals from under-sampled data. While compressive methods simplify data acquisition, they require the solution of difficult recovery problems to make use of the resulting measurements. This article presents a new sensing framework that combines the advantages of both conventional and compressive sensing. Using the proposed \stone transform, measurements can be reconstructed instantly at Nyquist rates at any power-of-two resolution. The same data can then be "enhanced" to higher resolutions using compressive methods that leverage sparsity to "beat" the Nyquist limit. The availability of a fast direct reconstruction enables compressive measurements to be processed on small embedded devices. We demonstrate this by constructing a real-time compressive video camera.

研究动机与目标

• 解决压缩感知中阻碍嵌入式设备实时重建的计算瓶颈问题。
• 通过使同一组测量值同时支持快速预览与高分辨率增强，统一传统成像与压缩成像。
• 通过实现短采集时间与高时间分辨率，克服压缩视频中的运动混叠问题。
• 开发一种实用的实时压缩视频框架，采用低成本单像素传感器与高效数值方法。
• 证明通过利用稀疏性，压缩重建可“超越”奈奎斯特极限，实现高于传统采样方式的分辨率。

提出的方法

• STONE变换采用多尺度感知算子，生成兼容快速直接重建与迭代压缩恢复的压缩测量值。
• 一种直接的 $O(N\log N)$ 变换可实现实时重建，达到奈奎斯特速率，以极低计算成本生成实时预览。
• 相同的测量值后续通过促进稀疏性的压缩恢复方法进行增强，该方法利用了视频的3DTV模型。
• 3DTV模型使高分辨率视频重建成为可能，而无需昂贵的光流估计或预处理。
• 采用原始-对偶数值方法，实现高效且可并行化的重建，适用于FPGA实现。
• 通过将实时预览与高保真离线增强解耦，该框架支持在嵌入式系统上实现实时运行。

实验结果

研究问题

• RQ1 压缩测量值是否能在达到奈奎斯特速率的同时实现即时重建，同时仍支持后续的超分辨率增强？
• RQ2 如何在不牺牲时间分辨率或增加数据负载的前提下，减少压缩视频中的运动混叠？
• RQ3 单一感知框架是否能使用同一组测量值同时支持实时预览与高分辨率压缩重建？
• RQ4 基于稀疏性的恢复在视频重建中能在多大程度上‘超越’奈奎斯特极限？
• RQ5 能否为嵌入式平台上的实时压缩视频重建设计出高效且可并行化的数值方法？

主要发现

• STONE变换可仅用5%的采样率，从64×64预览中实现实时重建，相比全分辨率重建，运动混叠显著减少。
• 在1%的采样率下，压缩重建实现的时间分辨率高于非压缩方法，且运动混叠更少。
• 从同一组5%采样数据中，压缩重建揭示的细节远多于64×64预览，证明了其超分辨率能力。
• 3DTV模型使高质量视频重建成为可能，无需光流估计，从而降低了计算开销。
• 所提出的数值方法实现简单，适合并行架构（如FPGA），支持实时部署。
• 成功演示了一款实时压缩视频相机，采用单像素探测器，从同一数据流中实现快速预览与高分辨率增强。