[论文解读] Fast Integral Image Estimation at 1% measurement rate

Kuldeep Kulkarni, Pavan Turaga|arXiv (Cornell University)|Jan 27, 2016

Sparse and Compressive Sensing Techniques参考文献 30被引用 5

一句话总结

该论文提出ReFInE框架，通过定制化的测量矩阵和线性算子，仅使用1%的空间复用测量值，直接估计积分图像，跳过迭代重建过程。通过结合小波基先验和二阶锥约束的核范数最小化公式，实现在极低测量率下的最先进目标跟踪性能。

ABSTRACT

We propose a framework called ReFInE to directly obtain integral image estimates from a very small number of spatially multiplexed measurements of the scene without iterative reconstruction of any auxiliary image, and demonstrate their practical utility in visual object tracking. Specifically, we design measurement matrices which are tailored to facilitate extremely fast estimation of the integral image, by using a single-shot linear operation on the measured vector. Leveraging a prior model for the images, we formulate a nuclear norm minimization problem with second order conic constraints to jointly obtain the measurement matrix and the linear operator. Through qualitative and quantitative experiments, we show that high quality integral image estimates can be obtained using our framework at very low measurement rates. Further, on a standard dataset of 50 videos, we present object tracking results which are comparable to the state-of-the-art methods, even at an extremely low measurement rate of 1%.

研究动机与目标

• 通过实现从测量值的直接推理，解决空间复用相机（SMCs）中迭代重建的计算瓶颈问题。
• 通过设计面向应用的、非随机的测量矩阵，克服压缩感知中伪随机测量的局限性。
• 在确保高精度下游视觉任务（如目标跟踪）的前提下，最小化高质量积分图像估计所需的测量数量。
• 通过避免图像重建并直接估计积分图像等有用表征，实现在超低感知率下的实时计算机视觉。

提出的方法

• 建立联合优化问题，以最小化测量矩阵的秩，并学习一个将测量值映射到近似积分图像的线性算子。
• 在自然图像的小波系数上引入多变量广义高斯分布（MGGD）先验，以建模图像结构。
• 将估计误差的概率约束松弛为二阶锥约束，以支持凸优化。
• 使用核范数最小化作为秩最小化的凸近似，以高效求解NP难问题。
• 通过凸优化设计专用的测量矩阵和线性算子，实现单次测量下对积分图像的线性估计。
• 通过在基于哈尔特征的跟踪器（FCT）中直接使用估计的积分图像，将该框架应用于目标跟踪，避免完整的图像重建。

实验结果

研究问题

• RQ1 能否仅从少量空间复用测量值中，无需迭代图像重建，直接估计积分图像？
• RQ2 能否联合优化定制化的测量矩阵和线性算子，实现在超低测量率下的高质量积分图像估计？
• RQ3 在资源受限环境下，ReFInE测量值的积分图像直接估计是否优于全分辨率重建的跟踪性能？
• RQ4 即使在1%测量率下（全分辨率数据不可用），该框架是否仍能超越最先进跟踪方法？

主要发现

• 在1%测量率（有效测量率8.16%）下，ReFInE在目标跟踪中实现54.83%的平均精度，比在全分辨率图像上运行的'Oracle FCT'跟踪器高出12.46个百分点。
• 即使在0.2%测量率（EMR 1.63%）下，精度仍保持在45.79%，比'Oracle FCT'基线高出3.42个百分点。
• 基于ReFInE的跟踪器在高分辨率视频上运行速度约为20 FPS，尽管搜索空间较大，仍足以实现近实时性能。
• 该框架仅需原始图像大小的2–8%即可实现更优的跟踪精度，表明精心设计的测量值在推理任务中可超越全分辨率数据。
• 所提出的结合二阶锥约束的核范数最小化方法，成功平衡了估计精度与计算效率。
• 该方法完全避免了迭代重建，实现了从压缩测量值到积分图像的快速、单次线性估计。