[论文解读] Deep Neural Network Concepts for Background Subtraction: A Systematic Review and Comparative Evaluation

Thierry Bouwmans, Sajid Javed+2 more|arXiv (Cornell University)|Nov 13, 2018

Video Surveillance and Tracking Methods参考文献 149被引用 10

一句话总结

本文针对静态摄像头视频序列中的背景减除问题，系统性地综述并对比评估了深度神经网络（DNN）方法。在CDnet 2014基准测试中，评估了包括卷积神经网络（CNN）、自编码器、生成对抗网络（GAN）及混合模型在内的DNN架构，结果表明现代DNN方法显著优于传统无监督方法，顶尖模型在多个类别上的F-measure得分超过0.98。

ABSTRACT

Conventional neural networks show a powerful framework for background subtraction in video acquired by static cameras. Indeed, the well-known SOBS method and its variants based on neural networks were the leader methods on the largescale CDnet 2012 dataset during a long time. Recently, convolutional neural networks which belong to deep learning methods were employed with success for background initialization, foreground detection and deep learned features. Currently, the top current background subtraction methods in CDnet 2014 are based on deep neural networks with a large gap of performance in comparison on the conventional unsupervised approaches based on multi-features or multi-cues strategies. Furthermore, a huge amount of papers was published since 2016 when Braham and Van Droogenbroeck published their first work on CNN applied to background subtraction providing a regular gain of performance. In this context, we provide the first review of deep neural network concepts in background subtraction for novices and experts in order to analyze this success and to provide further directions. For this, we first surveyed the methods used background initialization, background subtraction and deep learned features. Then, we discuss the adequacy of deep neural networks for background subtraction. Finally, experimental results are presented on the CDnet 2014 dataset.

研究动机与目标

• 为该领域的新手研究人员提供深度神经网络在背景减除中应用的全面综述。
• 分析不同DNN架构（如CNN、自编码器和GAN）在背景初始化、前景检测和特征学习方面的有效性。
• 识别当前DNN方法在处理复杂场景（如PTZ摄像头运动和复杂背景）时的性能差距与局限性。
• 探索多模态输入（如RGB-D）和替代DNN架构（如金字塔CNN、深度置信网络）在未来性能提升中的潜力。
• 通过识别开放性问题（如最优网络设计与输入表示）为未来研究提供指导。

提出的方法

• 将基于DNN的背景减除方法系统分类为三大核心组件：背景初始化、前景检测与深度特征学习。
• 基于CDnet 2014基准数据集，使用标准指标（F-measure、精确率、召回率）评估了20余种最先进DNN模型，包括3D CNN、基于注意力机制的ConvLSTM及GAN。
• 在11个视频类别上进行性能对比，涵盖PTZ、阴影、恶劣天气及低帧率等挑战性场景。
• 通过changedetection.net网站及原始论文收集并标准化F-measure得分，以确保公平比较。
• 分析模型中的架构选择，如空间建模与时间建模的权衡、跳跃连接及残差学习机制（如ResNet与UNet中的应用）。
• 探究输入模态的作用，包括RGB、RGB-D以及学习到的特征分布，以评估其对性能的影响。

实验结果

研究问题

• RQ1 在静态摄像头视频序列中，哪些深度神经网络架构在背景初始化与前景检测方面最为有效？
• RQ2 在CDnet 2014基准测试中，DNN方法相较于传统无监督方法（如多线索、多特征方法）的性能表现如何？
• RQ3 当前DNN方法在处理相机抖动、PTZ运动及动态背景等复杂场景时存在哪些关键局限性？
• RQ4 多模态输入（如RGB-D）在多大程度上能提升基于深度学习的背景减除的鲁棒性与准确性？
• RQ5 哪些新兴DNN架构（如GAN、注意力机制、3D CNN）在未来的背景减除系统中最具前景？

主要发现

• 表现最佳的方法BScGAN在'Baseline'类别上取得0.9930的F-measure，在'Camera Jitter'类别上达到0.9796，展现出卓越的鲁棒性。
• 3D Atrous CNN在'Baseline'类别上取得0.9897的F-measure，在'Bad Weather'类别上达到0.9833，表明其在时间建模方面表现强劲。
• 基于注意力机制的ConvLSTM结合PSL与CRF在'Dynamic Background'类别上F-measure超过0.92，在'Night Videos'类别上达到0.94，显示出在复杂运动场景中的有效性。
• 基于GAN的模型如BPVGAN和BGAN在'Thermal'序列中分别取得0.9501和0.9339的F-measure，表明其在低能见度条件下具备出色的泛化能力。
• 尽管在大多数类别上表现优异，但许多模型在'PTZ'类别上表现欠佳，F-measure低于0.90，表明在处理运动摄像头时仍面临挑战。
• RGB-D输入的应用，如ForeGAN-RGBD模型所示，未来在伪装与深度敏感场景中具有强大潜力，可显著提升DNN-based背景减除性能。