[论文解读] A Multilayer-Based Framework for Online Background Subtraction with Freely Moving Cameras

Yizhe Zhu, Ahmed Elgammal|arXiv (Cornell University)|Sep 4, 2017

Video Surveillance and Tracking Methods参考文献 35被引用 5

一句话总结

该论文提出了一种基于多层结构的在线背景减除框架，适用于运动相机视频，将每个前景物体和背景分别建模为独立图层，利用结合运动与外观模型的贝叶斯滤波推断概率图，随后通过多标签图割实现像素级分割。该方法在多前景分割任务中显著优于当前最先进方法，尤其在存在重叠或关节运动的复杂场景中表现优异。

ABSTRACT

The exponentially increasing use of moving platforms for video capture introduces the urgent need to develop the general background subtraction algorithms with the capability to deal with the moving background. In this paper, we propose a multilayer-based framework for online background subtraction for videos captured by moving cameras. Unlike the previous treatments of the problem, the proposed method is not restricted to binary segmentation of background and foreground, but formulates it as a multi-label segmentation problem by modeling multiple foreground objects in different layers when they appear simultaneously in the scene. We assign an independent processing layer to each foreground object, as well as the background, where both motion and appearance models are estimated, and a probability map is inferred using a Bayesian filtering framework. Finally, Multi-label Graph-cut on Markov Random Field is employed to perform pixel-wise labeling. Extensive evaluation results show that the proposed method outperforms state-of-the-art methods on challenging video sequences.

研究动机与目标

• 解决传统背景减除方法在假设相机静止且仅支持二值分割时的局限性，这些方法在运动相机条件下处理多移动物体时会失效。
• 开发一种在线、实时处理能力的框架，能够在视频序列中动态维护并更新背景与前景模型。
• 实现场景中复杂运动（包括遮挡与关节运动）下多个移动物体的精确多标签分割。
• 设计一种新颖的评估方法，用于运动相机场景下的多标签背景减除，区别于传统的二值分割指标。

提出的方法

• 每个前景物体和背景均被分配至独立的处理图层，实现运动与外观建模的并行与独立处理。
• 每个图层中的处理模块执行三个步骤：(1) 通过运动向量使用高斯信念传播估计运动模型；(2) 通过运动模型传播预测外观与先验概率；(3) 利用当前帧的证据，通过核密度估计推断概率图。
• 贝叶斯滤波框架整合历史与当前证据，更新各图层中每个像素的后验概率。
• 在归一化概率图上应用马尔可夫随机场的多标签图割，生成最终的像素级分割结果。
• 系统支持自初始化与在线自适应，无需预先加载完整视频即可实现实时处理。
• 采用基于匈牙利算法的改进型评估指标，通过与真实标注区域匹配，计算每个物体的精确率、召回率与F1值。

实验结果

研究问题

• RQ1 如何有效将背景减除方法扩展至具有多个重叠前景物体的运动相机视频？
• RQ2 与二值分割相比，将每个物体视为独立处理图层的多层框架是否能提升动态场景中的分割精度？
• RQ3 在线贝叶斯滤波结合运动与外观建模，在复杂视频序列中能在多大程度上实现鲁棒、实时的多标签分割？
• RQ4 所提出方法在缺乏先验知识的情况下，如何应对物体遮挡、关节运动以及初始物体检测等挑战？

主要发现

• 在霍普金斯数据集上，该方法在所有帧上的F1值达到86.16，显著优于SLT（82.00）与基线方法（64.35）。
• 在前十个帧中，该方法的F1值达到85.06，尽管初始信息有限，仍表现出强劲性能，且随着序列推进持续提升。
• 定性结果表明，该方法能准确分离相邻或交叉的多个物体，而SLT常将它们合并为单一区域。
• 由于基于运动不一致性实现独立图层初始化，系统能立即检测到新物体进入场景。
• 通过每个物体的独立外观建模，系统能有效处理关节运动，如在复杂人体运动序列中表现优异。
• 计算时间主要集中在运动估计与图割阶段；尽管未优化的MATLAB代码当前每帧耗时约7秒，但借助GPU加速，实现实时处理是可行的。