[论文解读] Anomaly Detection in Residential Video Surveillance on Edge Devices in IoT Framework

Mayur Rajaram Parate, Kishor M. Bhurchandi+1 more|arXiv (Cornell University)|Jul 10, 2021

Anomaly Detection Techniques and Applications参考文献 36被引用 4

一句话总结

该论文提出了一种轻量级、仅使用CPU的边缘计算框架，用于在住宅视频监控中实现基于时空特征编码和双互补度量轨迹关联的实时异常检测。该框架在低功耗边缘设备上实现了高精度（在UMN数据集上AUC最高达0.936）和实时性能（持续帧率），优于现有方法，同时确保了隐私保护和低延迟。

ABSTRACT

Intelligent resident surveillance is one of the most essential smart community services. The increasing demand for security needs surveillance systems to be able to detect anomalies in surveillance scenes. Employing high-capacity computational devices for intelligent surveillance in residential societies is costly and not feasible. Therefore, we propose anomaly detection for intelligent surveillance using CPU-only edge devices. A modular framework to capture object-level inferences and tracking is developed. To cope with partial occlusions, posture deformations, and complex scenes, we employed feature encoding and trajectory association governed by two metrices complementing to each other. The elements of an anomaly detection framework are optimized to run on CPU-only edge devices with sufficient frames per second (FPS). The experimental results indicate the proposed method is feasible and achieves satisfactory results in real-life scenarios.

研究动机与目标

• 开发一种仅使用CPU边缘设备的低成本、实时异常检测系统，用于住宅视频监控。
• 解决在资源受限的边缘硬件上处理高复杂度计算机视觉任务的挑战，且不依赖GPU或硬件加速器。
• 通过在边缘本地处理视频分析，实现实时性能、低网络延迟和数据隐私保护。
• 在保持高检测精度的同时，优化系统以实现低功耗和高帧率（FPS）。
• 将异常检测系统集成到基于LoRa的警报传输的物联网框架中，以支持实际部署。

提出的方法

• 该框架采用模块化流水线，用于目标检测、特征编码和轨迹关联，实现在仅CPU的边缘设备上的实时处理。
• 使用轻量级神经网络（64x32、128x64或256x128特征尺寸）对时空特征进行编码，以在帧间表示人员身份。
• 轨迹关联由两种互补度量控制：余弦距离（max-cos-distance）和非极大值抑制（nms-overlap），以减少误报并处理遮挡问题。
• 系统采用双阈值策略：较高的max-cos-distance阈值（0.9）可提高对身份互换的鲁棒性，而较低的nms-overlap（0.3）可抑制密集人群中的重叠检测。
• 整个流水线均针对CPU执行进行了优化，性能在不同特征编码器尺寸和阈值配置下进行了评估。
• 通过分析轨迹模式和空间动态的偏离情况检测异常，并通过LoRa发送警报，以保护隐私并减少网络负载。

实验结果

研究问题

• RQ1 是否可以在仅使用CPU的边缘设备上，无需GPU加速，有效实现住宅视频监控中的异常检测？
• RQ2 不同特征编码器尺寸、max-cos-distance和nms-overlap的配置如何影响精度和处理速度？
• RQ3 时空特征编码和双度量轨迹关联在部分遮挡和姿态变形条件下，能在多大程度上提升系统的鲁棒性？
• RQ4 在实时边缘异常检测系统中，精度、帧率和功耗之间如何实现最佳平衡？
• RQ5 与现有的基于云或GPU加速的方法相比，该系统在标准数据集上的AUC和实时性能表现如何？

主要发现

• 所提出的系统在UCSD Ped-1数据集上达到AUC 0.918，在UMN数据集上达到AUC 0.936，优于现有方法[6]、[38]、[4]和[39]。
• 使用64x32特征编码器尺寸可实现接近最优的精度（AUC ~0.93），同时显著降低处理时间，非常适合实时部署。
• 将nms-overlap阈值设为0.3能有效抑制密集人群中的虚假检测，提升检测一致性。
• 采用较高的max-cos-distance阈值（0.9）可减少身份互换，尤其在穿着相似衣物的人员场景中，提升轨迹一致性。
• 系统在仅CPU设备上保持了实时性能，实现了持续帧率，精度与效率之间达到良好平衡。
• 在无主动散热条件下，CPU核心温度在负载下升至68°C，但使用主动散热后稳定在59°C，表明其具备长期运行的热可行性。