[论文解读] EIQIS: Toward an Event-Oriented Indexable and Queryable Intelligent Surveillance System

Seyed Yahya Nikouei, Yu Chen+2 more|arXiv (Cornell University)|Jul 30, 2018

Video Surveillance and Tracking Methods参考文献 24被引用 8

一句话总结

该论文提出EIQIS，一种面向事件、可索引且可查询的智能监控系统，利用边缘-雾-云架构实时提取并索引视频特征，实现事件的即时检索。通过在本地使用轻量级机器学习模型处理视频帧，并在雾层存储结构化索引，EIQIS实现了低延迟、可扩展的监控数据查询——已通过一个工作原型得到验证，该原型支持实时特征提取、通过区块链保障安全的数据传输，以及基于人群密度或目标数量等事件标准的高效搜索。

ABSTRACT

Edge computing provides the ability to link distributor users for multimedia content, while retaining the power of significant data storage and access at a centralized computer. Two requirements of significance include: what information show be processed at the edge and how the content should be stored. Answers to these questions require a combination of query-based search, access, and response as well as indexed-based processing, storage, and distribution. A measure of intelligence is not what is known, but is recalled, hence, future edge intelligence must provide recalled information for dynamic response. In this paper, a novel event-oriented indexable and queryable intelligent surveillance (EIQIS) system is introduced leveraging the on-site edge devices to collect the information sensed in format of frames and extracts useful features to enhance situation awareness. The design principles are discussed and a preliminary proof-of-concept prototype is built that validated the feasibility of the proposed idea.

研究动机与目标

• 解决依赖原始视频流和批处理的传统视频监控系统所面临的可扩展性与延迟挑战。
• 通过在网络边缘直接创建可索引的特征，实现对监控视频的实时、交互式查询。
• 通过面向事件的索引机制提升态势感知能力，支持对关键事件的动态、人机协同响应。
• 验证分层边缘-雾-云架构在智能监控中实现安全、低延迟数据处理的可行性。
• 证明在本地进行特征提取与索引可显著降低网络负载，并提升取证与实时分析的响应速度。

提出的方法

• 系统采用三层边缘-雾-云架构：边缘设备实时从视频帧中提取低级视觉特征（如目标检测、边界框）。
• 特征通过加密通道安全传输至雾节点，雾节点维护一个集中式、可索引的键值存储，用于存储提取的特征。
• 基于私有以太坊的区块链确保从边缘到雾的数据传输过程中数据的完整性，防止篡改。
• 每个特征提取任务被抽象为微服务，支持多样化查询类型的模块化、可扩展索引。
• 雾层支持使用预定义事件参数（如“夜间帧中超过10人”）进行实时查询。
• 原型使用TinkerBoard边缘设备和基于笔记本电脑的雾节点，通过基于Python的套接字编程实现节点间安全通信。

实验结果

研究问题

• RQ1 在边缘进行实时本地特征提取是否能够实现智能监控的可扩展、低延迟视频索引？
• RQ2 分层边缘-雾-云架构在多大程度上能够支持对监控视频流的即时、基于事件的查询？
• RQ3 通过区块链保护的可信数据传输在多大程度上能确保监控数据管道的完整性？
• RQ4 基于微服务的特征提取是否能提升视频索引系统的可扩展性与适应性？
• RQ5 将批处理替换为实时索引在多大程度上可行，适用于取证与业务视频分析？

主要发现

• 原型成功在边缘设备（TinkerBoard）上实现了实时特征提取，包括目标检测与边界框跟踪。
• 雾节点以键值格式存储并索引特征，实现了基于查询条件的快速、事件匹配的视频事件检索。
• 基于私有以太坊的区块链网络通过四个矿工同步区块，确保了数据完整性，所有节点均维护最新状态副本。
• 系统减少了对原始视频流的依赖，通过智能索引显著降低了网络拥塞与存储开销。
• 通过预索引特征，高效查询了特定时间点高密度人群等事件，显著优于完整视频回放。
• 特征提取的微服务集成使得索引功能可模块化扩展，无需重构核心系统。