[论文解读] CNNs for Surveillance Footage Scene Classification

Utkarsh Contractor, Chinmayi Dixit+1 more|arXiv (Cornell University)|Sep 8, 2018

Anomaly Detection Techniques and Applications参考文献 16被引用 4

一句话总结

本文提出一种基于CNN的方法，通过在CAVIAR和i-LIDS数据集上进行迁移学习，对监控视频帧进行分类以检测被遗弃的行李。通过微调ResNet和DenseNet等架构，模型实现了98%的准确率。显著性图分析显示，模型更多依赖于场景上下文而非特定物体特征，这限制了其泛化能力，但在特定环境中实现了高性能。

ABSTRACT

In this project, we adapt high-performing CNN architectures to differentiate between scenes with and without abandoned luggage. Using frames from two video datasets, we compare the results of training different architectures on each dataset as well as on combining the datasets. We additionally use network visualization techniques to gain insight into what the neural network sees, and the basis of the classification decision. We intend that our results benefit further work in applying CNNs in surveillance and security-related tasks.

研究动机与目标

• 解决自动化监控视频分析的挑战，以减少人工工作量和检测异常事件（如被遗弃行李）时的错误。
• 克服现有方法依赖背景减除或运动跟踪的局限性，这些方法对环境变化敏感且泛化能力差。
• 开发一种基于深度学习的CNN解决方案，可在数据有限的情况下针对特定监控环境进行微调。
• 探究CNN是否能在摄像头角度、分辨率和背景复杂度变化的情况下，仍能有效检测被遗弃行李。
• 通过可视化技术理解模型的决策过程，评估其是否学习了特定物体特征，还是受场景级模式影响。

提出的方法

• 在两个监控数据集（CAVIAR和i-LIDS）上对预训练的CNN架构（ResNet、DenseNet、VGG）进行微调，重点关注包含和不包含被遗弃行李的帧。
• 在单个数据集和合并数据集上分别训练模型，以评估性能和跨环境的泛化能力。
• 应用数据增强技术（如随机裁剪、翻转）以增加训练数据的多样性，提高模型鲁棒性。
• 使用基于梯度的可视化方法生成显著性图，以解释模型注意力机制，确定影响分类决策的图像区域。
• 使用类激活图和网络可视化分析模型是否学习了对物体的检测，还是受背景异常的影响。
• 通过准确率、误报率和漏报率评估模型性能，以评估其在真实部署场景中的可靠性。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，预训练的CNN能否被有效微调用于监控视频中的被遗弃行李检测？
• RQ2 当模型在单一数据集与CAVIAR和i-LIDS数据集组合上训练时，其性能如何变化？
• RQ3 显著性图在多大程度上揭示了模型检测的是行李物体本身，还是受背景场景特征的影响？
• RQ4 模型预测中的误报和漏报由何原因引起，这些与视觉上下文或图像异常有何关联？
• RQ5 在某一环境训练的模型能否泛化到另一环境，还是其本质上依赖于特定场景的模式？

主要发现

• 模型在合并数据集上实现了98%的高准确率，表明在有限监控数据上进行微调可获得优异性能。
• 当行李靠近其他静止物体或部分被遮挡时，出现漏报，表明模型在深度感知和空间推理方面存在局限。
• 误报常由背景异常（如闪光灯或光照变化）触发，表明模型学习到了虚假的场景级模式。
• 显著性图显示，模型在图像大部分区域均有激活，尤其是在动态场景中，表明其依赖整体场景上下文而非局部物体特征。
• 类别可视化显示，模型学习的是场景特定模式而非可泛化的物体特征，这解释了其在不同环境间泛化能力差的原因。
• 尽管数据有限，数据增强显著提升了模型鲁棒性，有助于实现更均衡的输入分布，从而增强训练稳定性和性能。