[论文解读] A Foreground Inference Network for Video Surveillance Using Multi-View Receptive Field

Thangarajah Akilan|arXiv (Cornell University)|Jan 19, 2018

Video Surveillance and Tracking Methods参考文献 44被引用 4

一句话总结

该论文提出了一种用于视频监控前景分割的多视角感受野全卷积网络（MV-FCN），通过在多个感受野尺寸上融合Inception模块与残差连接，提升多尺度特征学习与空间精度。该模型在标注帧上端到端训练，实现了最先进性能，每帧平均推理时间为0.445秒（2.25 FPS），在11个基准数据集上优于先前方法，同时减少了对复杂后处理的依赖。

ABSTRACT

Foreground (FG) pixel labelling plays a vital role in video surveillance. Recent engineering solutions have attempted to exploit the efficacy of deep learning (DL) models initially targeted for image classification to deal with FG pixel labelling. One major drawback of such strategy is the lacking delineation of visual objects when training samples are limited. To grapple with this issue, we introduce a multi-view receptive field fully convolutional neural network (MV-FCN) that harness recent seminal ideas, such as, fully convolutional structure, inception modules, and residual networking. Therefrom, we implement a system in an encoder-decoder fashion that subsumes a core and two complementary feature flow paths. The model exploits inception modules at early and late stages with three different sizes of receptive fields to capture invariance at various scales. The features learned in the encoding phase are fused with appropriate feature maps in the decoding phase through residual connections for achieving enhanced spatial representation. These multi-view receptive fields and residual feature connections are expected to yield highly generalized features for an accurate pixel-wise FG region identification. It is, then, trained with database specific exemplary segmentations to predict desired FG objects. The comparative experimental results on eleven benchmark datasets validate that the proposed model achieves very competitive performance with the prior- and state-of-the-art algorithms. We also report that how well a transfer learning approach can be useful to enhance the performance of our proposed MV-FCN.

研究动机与目标

• 解决在光照变化和动态背景条件下，视频监控中前景像素级标注的准确性挑战。
• 克服传统方法依赖人工特征工程、复杂背景建模及迭代后处理的局限性。
• 通过深度学习实现多尺度与多路径特征学习，提升前景检测的泛化能力与空间精度。
• 展示迁移学习在有限训练数据上提升性能的有效性。
• 开发一种全卷积、端到端可训练的网络，避免使用最大池化层与全连接层，以获得更优的空间表征。

提出的方法

• MV-FCN采用编码器-解码器架构，包含主干路径与两条互补的特征流路径，以捕捉多尺度特征。
• 在早期与晚期阶段均应用Inception模块，采用三种不同卷积核大小（如1×1、3×3、5×5），以模拟多尺度感知。
• 通过残差连接将编码特征与解码特征图融合，以保留空间细节并增强梯度流动。
• 网络为全卷积结构，消除了最大池化层与全连接层，从而在整个前向传播过程中保持空间分辨率。
• 使用真实前景-背景分割结果作为监督信号，实现端到端训练，支持像素级分类。
• 通过使用ImageNet预训练权重初始化网络，应用迁移学习，以提升在小样本数据集上的收敛速度与性能。

实验结果

研究问题

• RQ1 与先前的深度学习模型相比，具有多视角感受野的全卷积网络是否能提升前景分割的准确性？
• RQ2 Inception模块与残差连接的融合在多尺度前景检测中如何增强特征表征？
• RQ3 在训练样本有限的数据集上，迁移学习在多大程度上提升了MV-FCN的性能？
• RQ4 所提出的架构是否能在无需迭代后处理或复杂背景建模的情况下实现有竞争力的性能？
• RQ5 MV-FCN在标准硬件上的推理速度如何？是否具备实时可行性？

主要发现

• MV-FCN在11个基准视频监控数据集上均表现出色，前景分割准确率优于或匹配现有最先进方法。
• 得益于Inception模块实现的多尺度特征学习，模型对光照变化与动态背景具有强鲁棒性。
• 残差连接显著提升了空间精度，减少了边界伪影，增强了目标边界的清晰度。
• 在标准CPU上，模型每帧平均推理时间为0.445秒（2.25 FPS），表明具备实际的实时可行性。
• 迁移学习显著提升了性能，尤其在训练数据有限的数据集上，证实了预训练特征初始化的价值。
• 该模型消除了对复杂后处理或迭代背景建模的需求，简化了处理流程，同时保持了高精度。