[论文解读] I-SAFE: Instant Suspicious Activity identiFication at the Edge using Fuzzy Decision Making

Seyed Yahya Nikouei, Yu Chen+3 more|arXiv (Cornell University)|Sep 12, 2019

Anomaly Detection Techniques and Applications被引用 8

一句话总结

I-SAFE 提出了一种基于边缘计算的实时可疑行为检测系统，采用模糊决策方法识别监控视频中的徘徊和异常行为。通过在边缘设备上融合轻量级深度学习特征与领域专家制定的模糊规则，该系统实现了 0.002 秒内的即时报警，具有极低延迟和最小网络开销，在速度和可扩展性方面优于当前最先进方法。

ABSTRACT

Urban imagery usually serves as forensic analysis and by design is available for incident mitigation. As more imagery collected, it is harder to narrow down to certain frames among thousands of video clips to a specific incident. A real-time, proactive surveillance system is desirable, which could instantly detect dubious personnel, identify suspicious activities, or raise momentous alerts. The recent proliferation of the edge computing paradigm allows more data-intensive tasks to be accomplished by smart edge devices with lightweight but powerful algorithms. This paper presents a forensic surveillance strategy by introducing an Instant Suspicious Activity identiFication at the Edge (I-SAFE) using fuzzy decision making. A fuzzy control system is proposed to mimic the decision-making process of a security officer. Decisions are made based on video features extracted by a lightweight Deep Machine Learning (DML) model. Based on the requirements from the first-line law enforcement officers, several features are selected and fuzzified to cope with the state of uncertainty that exists in the officers' decision-making process. Using features in the edge hierarchy minimizes the communication delay such that instant alerting is achieved. Additionally, leveraging the Microservices architecture, the I-SAFE scheme possesses good scalability given the increasing complexities at the network edge. Implemented as an edge-based application and tested using exemplary and various labeled dataset surveillance videos, the I-SAFE scheme raises alerts by identifying the suspicious activity in an average of 0.002 seconds. Compared to four other state-of-the-art methods over two other data sets, the experimental study verified the superiority of the I-SAFE decentralized method.

研究动机与目标

• 解决在城市监控视频流中实时检测可疑行为的挑战，因为传统取证分析速度过慢。
• 通过在边缘采用去中心化处理将决策过程下放，降低视频监控中的通信开销和延迟。
• 通过将专家知识融入模糊逻辑决策引擎，使系统能够模拟人工安保人员的判断。
• 通过利用微服务架构和边缘计算实现可扩展、低开销的监控，实现实时特征提取与异常评分。
• 通过抗噪声的模糊建模对上下文视频特征进行处理，最大限度减少误报，并提升在复杂动态环境中的鲁棒性。

提出的方法

• 在边缘设备上部署轻量级深度机器学习（DML）模型，用于从视频流中实时检测人员并提取特征。
• 从视频帧中提取七项时空特征（如位置、一天中的时间、移动模式、徘徊时长），以提供行为的上下文信息。
• 使用五个隶属函数对提取的特征进行模糊化处理，以建模人类判断中的不确定性，反映现实世界中的模糊性。
• 实现一个模糊控制系统，采用校园安保人员制定的专家规则，评估个体的可疑程度。
• 采用微服务架构对系统进行模块化设计，提升可扩展性与对不断演化的边缘网络复杂性的适应能力。
• 应用基于阈值的报警机制（60% 可疑度评分），在控制误报率的同时触发即时警报。

实验结果

研究问题

• RQ1 去中心化、基于边缘的系统是否能以极低延迟和通信开销实现实时可疑行为检测？
• RQ2 与纯数据驱动模型相比，模糊逻辑系统在模拟人类判断进行可疑行为检测方面效果如何？
• RQ3 领域专家知识（如执法部门经验）在多大程度上能提升行为识别的检测准确率并减少误报？
• RQ4 在速度、准确率和资源效率方面，I-SAFE 系统与当前最先进方法相比表现如何？
• RQ5 在遮挡、低分辨率或人群密度高的挑战性条件下，系统性能是否依然稳定？

主要发现

• I-SAFE 系统每帧平均检测延迟为 0.002 秒，可实现实时即时报警。
• 系统保持了较低的误报率，60% 可疑度阈值下，商场数据集中仅产生 4 例误报，地铁数据集中仅 1 例误报。
• 与四种最先进方法相比，I-SAFE 在速度和可扩展性方面表现更优，同时保持了具有竞争力的检测准确率。
• 模糊逻辑模型有效捕捉了人类行为中的不确定性，提升了在复杂动态监控环境中的鲁棒性。
• 特征提取与决策过程的解耦，使得同一模糊模型可复用于未来更精确的视频处理技术。
• 即使在低分辨率或遮挡场景下，系统仍表现出良好性能，但因像素密度不足，远距离检测性能有所下降。