[论文解读] Background Subtraction with Real-time Semantic Segmentation

Dongdong Zeng, Xiang Chen+3 more|arXiv (Cornell University)|Nov 25, 2018

Video Surveillance and Tracking Methods参考文献 52被引用 5

一句话总结

本文提出了一种实时背景减除框架（RTSS），通过结合传统背景建模与实时语义分割，提升前景检测的准确性。通过并行融合背景分割器与语义分割器的输出，RTSS 在 CDnet 2014 数据集上实现了无监督方法中的最先进性能，同时保持实时处理能力（38 ms/帧），优于部分有监督深度学习方法。

ABSTRACT

Accurate and fast foreground object extraction is very important for object tracking and recognition in video surveillance. Although many background subtraction (BGS) methods have been proposed in the recent past, it is still regarded as a tough problem due to the variety of challenging situations that occur in real-world scenarios. In this paper, we explore this problem from a new perspective and propose a novel background subtraction framework with real-time semantic segmentation (RTSS). Our proposed framework consists of two components, a traditional BGS segmenter $\mathcal{B}$ and a real-time semantic segmenter $\mathcal{S}$. The BGS segmenter $\mathcal{B}$ aims to construct background models and segments foreground objects. The real-time semantic segmenter $\mathcal{S}$ is used to refine the foreground segmentation outputs as feedbacks for improving the model updating accuracy. $\mathcal{B}$ and $\mathcal{S}$ work in parallel on two threads. For each input frame $I_t$, the BGS segmenter $\mathcal{B}$ computes a preliminary foreground/background (FG/BG) mask $B_t$. At the same time, the real-time semantic segmenter $\mathcal{S}$ extracts the object-level semantics ${S}_t$. Then, some specific rules are applied on ${B}_t$ and ${S}_t$ to generate the final detection ${D}_t$. Finally, the refined FG/BG mask ${D}_t$ is fed back to update the background model. Comprehensive experiments evaluated on the CDnet 2014 dataset demonstrate that our proposed method achieves state-of-the-art performance among all unsupervised background subtraction methods while operating at real-time, and even performs better than some deep learning based supervised algorithms. In addition, our proposed framework is very flexible and has the potential for generalization.

研究动机与目标

• 解决在复杂视频监控场景中实现准确且实时的前景目标检测这一长期挑战。
• 克服传统背景减除方法的局限性，例如对光照变化、动态背景和阴影的敏感性。
• 将实时语义分割作为反馈机制，以优化背景模型更新并提升分割准确性。
• 开发一种灵活、模块化的框架，支持未来在背景建模与语义分割方面的持续改进。

提出的方法

• 该框架采用两个并行组件：用于初始前景/背景掩码生成的背景分割器（B）和用于像素级语义理解的实时语义分割器（S）。
• 对于每一帧，B 生成初步的前景/背景掩码（B_t），而 S 提取每个像素的语义标签（S_t）。
• 基于规则的融合策略将 B_t 与 S_t 融合，生成优化后的前景检测掩码（D_t），该掩码随后用于更新背景模型。
• 语义分割器作为反馈机制，通过过滤误报并减少模型漂移，提升模型准确性。
• 该框架支持多种 BGS 算法（如 SuBSENSE、GMM）与语义模型（如 ICNet、PSPNet），实现模块化与可扩展性。
• 处理过程经过优化，实现实时性能，在 Titan Xp GPU 上使用 ICNet 时每帧约 38 ms，使用 PSPNet 时约 51 ms。

实验结果

研究问题

• RQ1 实时语义分割能否提升复杂视频场景中无监督背景减除的准确性和鲁棒性？
• RQ2 如何有效融合语义信息与传统背景建模，以减少由阴影、动态背景和光照变化引起的误报？
• RQ3 结合 BGS 与语义分割的混合框架能否实现实时性能，同时超越现有最先进无监督方法？
• RQ4 语义反馈在多大程度上能增强背景模型维护并减少模型漂移？

主要发现

• 在 CDnet 2014 基准测试中，RTSS 在所有无监督背景减除方法中达到最先进性能，优于许多基于深度学习的有监督方法。
• 该方法在具有挑战性的序列中表现出卓越的鲁棒性，包括动态背景（如摇曳的树木、波动的水面）、相机抖动、间歇性运动、强阴影以及全景-俯仰-变焦效应。
• 使用 ICNet 时，框架每帧处理时间约为 38 ms，实现在标准 GPU 上的实时性能。
• 使用 PSPNet 时，处理时间约为 51 ms/帧（N=3），证实了该框架在不同分割精度与速度权衡下的可扩展性。
• 定性结果表明，即使在噪声水平高且存在复杂干扰的序列（如 boulevard 和 sofa 序列）中，也能实现完整且精确的前景提取。
• 该框架的模块化设计支持无缝集成未来更快速、更精确的 BGS 与语义分割模型。