[论文解读] DeepPBM: Deep Probabilistic Background Model Estimation from Video Sequences

Amirreza Farnoosh, Behnaz Rezaei+1 more|arXiv (Cornell University)|Feb 3, 2019

Video Surveillance and Tracking Methods参考文献 24被引用 9

一句话总结

该论文提出 DeepPBM，一种基于变分自编码器（VAE）的深度概率背景模型，用于视频背景减除。该模型通过学习静态背景的低维潜在表征，相比 RPCA 在 F-measure 上提升 23%，且推理速度提升 10 倍以上，同时能有效适应监控视频中的长期背景变化。

ABSTRACT

This paper presents a novel unsupervised probabilistic model estimation of visual background in video sequences using a variational autoencoder framework. Due to the redundant nature of the backgrounds in surveillance videos, visual information of the background can be compressed into a low-dimensional subspace in the encoder part of the variational autoencoder, while the highly variant information of its moving foreground gets filtered throughout its encoding-decoding process. Our deep probabilistic background model (DeepPBM) estimation approach is enabled by the power of deep neural networks in learning compressed representations of video frames and reconstructing them back to the original domain. We evaluated the performance of our DeepPBM in background subtraction on 9 surveillance videos from the background model challenge (BMC2012) dataset, and compared that with a standard subspace learning technique, robust principle component analysis (RPCA), which similarly estimates a deterministic low dimensional representation of the background in videos and is widely used for this application. Our method outperforms RPCA on BMC2012 dataset with 23% in average in F-measure score, emphasizing that background subtraction using the trained model can be done in more than 10 times faster.

研究动机与目标

• 开发一种无监督、可泛化且计算高效的监控视频背景减除方法。
• 解决传统子空间学习方法（如 RPCA）因迭代优化导致的运行缓慢和计算成本高的局限性。
• 利用深度生成建模技术，为下游深度学习任务中的数据增强生成合成背景。
• 实现实时背景模型自适应，以应对长期场景变化，而无需人工重新训练。
• 为需要标注前景掩码的监督深度学习方法提供可扩展的替代方案。

提出的方法

• 使用变分自编码器（VAE）将视频帧编码到低维潜在空间，使背景被压缩为低秩子空间。
• 解码器从潜在表征重建背景，通过设定输入帧与重建背景之间差异的阈值来检测前景物体。
• 潜在空间被建模为高斯分布，从而可通过从潜在变量采样实现概率性合成背景。
• 模型通过所有视频帧进行无监督训练，潜在维度 $d$ 根据背景动态特性进行调优（例如，风或雨天场景使用更大的 $d$）。
• 对于长视频，模型首先在前 20% 的帧上进行训练，然后对所有帧顺序执行推理。
• 通过 VAE 的生成特性隐式实现背景自适应，使模型能够检测到如车辆进入背景等变化。

实验结果

研究问题

• RQ1 像 VAE 这样的深度生成模型能否在无监督条件下，有效学习到静态视频背景的紧凑概率表征？
• RQ2 在标准基准视频上，DeepPBM 相较于 RPCA 在 F-measure 和推理速度方面的表现如何？
• RQ3 DeepPBM 模型是否能在不重新训练的情况下，适应长期背景变化（如移动车辆成为背景的一部分）？
• RQ4 该模型的生成能力在多大程度上能生成逼真的合成背景以用于数据增强？
• RQ5 DeepPBM 的无监督训练范式是否能在具有不同背景动态特性的多样化监控场景中实现良好泛化？

主要发现

• 在 BMC2012 数据集上，DeepPBM 的平均 F-measure 相较于 RPCA 提升 23%，证明了其更优的背景建模精度。
• 该方法的推理速度相比 RPCA 提升 10 倍以上，使其适用于实时视频监控应用。
• 在长达 78 分钟的长视频中，DeepPBM 保持了出色的性能，平均 F-measure 达到 0.69，显示出对场景变化的强适应能力。
• 当一辆静止的汽车开始移动时，模型能将其成功识别为前景，表明其具备有效的动态背景自适应能力。
• VAE 的生成能力允许通过调整潜在变量生成合成背景，为数据增强提供了潜在应用价值。
• 只要选择合适的潜在维度 $d$，该模型在具有动态背景（如风、雨）的场景中也表现有效。