[论文解读] Real-Time Background Subtraction Using Adaptive Sampling and Cascade of Gaussians

Bangalore Ravi Kiran, Senthil Yogamani|arXiv (Cornell University)|May 25, 2017

Video Surveillance and Tracking Methods参考文献 9被引用 4

一句话总结

本文提出一种自适应高斯混合模型级联结构，用于实时背景减除。该方法将高斯混合模型（GMM）分解为受Viola-Jones启发的拒绝级联结构，使处理速度提升5倍至10倍，同时在标准视频上将准确率提高17%。通过利用时间一致性与先验分布，实现基于置信度的学习率与阈值自适应调整，从而实现高效的空间与时间采样。

ABSTRACT

Background-Foreground classification is a fundamental well-studied problem in computer vision. Due to the pixel-wise nature of modeling and processing in the algorithm, it is usually difficult to satisfy real-time constraints. There is a trade-off between the speed (because of model complexity) and accuracy. Inspired by the rejection cascade of Viola-Jones classifier, we decompose the Gaussian Mixture Model (GMM) into an adaptive cascade of classifiers. This way we achieve a good improvement in speed without compensating for accuracy. In the training phase, we learn multiple KDEs for different durations to be used as strong prior distribution and detect probable oscillating pixels which usually results in misclassifications. We propose a confidence measure for the classifier based on temporal consistency and the prior distribution. The confidence measure thus derived is used to adapt the learning rate and the thresholds of the model, to improve accuracy. The confidence measure is also employed to perform temporal and spatial sampling in a principled way. We demonstrate a speed-up factor of 5x to 10x and 17 percent average improvement in accuracy over several standard videos.

研究动机与目标

• 解决使用像素级模型进行实时前景-背景分割时速度与准确率之间的权衡问题。
• 克服传统基于GMM的背景减除在实时应用中的计算瓶颈。
• 通过学习先验分布以建模时间不一致性与振荡像素，提升分类准确率。
• 通过基于置信度度量的原理化空间与时间采样，实现高效计算。
• 在动态视频序列中实现高速处理，同时不牺牲检测准确率。

提出的方法

• 将高斯混合模型（GMM）分解为受Viola-Jones拒绝级联启发的自适应分类器级联结构，以加速处理速度。
• 为不同时间持续时长学习多个核密度估计（KDE），以建模先验分布并检测易被误分类的振荡像素。
• 引入基于时间一致性和先验分布的置信度度量，以动态调整学习率与分类阈值。
• 利用置信度度量指导自适应空间与时间采样，减少对低置信度像素的计算开销。
• 将基于置信度的自适应机制应用于实时模型参数优化，提升对噪声与动态背景的鲁棒性。
• 将级联结构与GMM结合，在通过早期拒绝背景像素加速推理的同时保持高准确率。

实验结果

研究问题

• RQ1 受Viola-Jones启发的级联结构能否在不降低准确率的前提下提升基于GMM的背景减除速度？
• RQ2 如何利用时间一致性与先验分布提升背景减除中的分类置信度？
• RQ3 自适应学习率与阈值在多大程度上可提升模型对振荡像素与动态场景的鲁棒性？
• RQ4 基于置信度的采样能否在不损害检测准确率的前提下降低实时视频处理中的计算负载？
• RQ5 在基于GMM的背景建模中应用自适应级联时，加速与准确率提升之间的权衡关系如何？

主要发现

• 所提方法在实时视频处理中相较标准GMM背景减除方法实现5倍至10倍的速度提升。
• 与基线GMM方法相比，该方法在多个标准视频序列上的平均准确率提升17%。
• 置信度度量能有效识别振荡像素，通过自适应调整阈值与学习率减少误分类。
• 基于置信度的自适应空间与时间采样显著降低了计算开销，同时不损害检测质量。
• 使用多个用于不同持续时间的KDE可更好地建模时间动态特性，提升对背景变化的鲁棒性。
• 级联结构支持对背景像素的早期拒绝，从而在保持高检测准确率的同时显著加速处理。