[论文解读] Edge-Based Video Analytics: A Survey

Miao Hu, Zhenxiao Luo+4 more|arXiv (Cornell University)|Mar 25, 2023

IoT and Edge/Fog Computing被引用 6

一句话总结

本综述对基于边缘的视频分析进行了全面分析，涵盖架构、技术、资源管理以及安全/隐私挑战。它指出了当前方法的关键局限性，并为下一代系统提供了可操作的见解和研究方向，通过去中心化、原生边缘计算实现低延迟、高精度和强隐私保障的平衡。

ABSTRACT

Edge computing has been getting a momentum with ever-increasing data at the edge of the network. In particular, huge amounts of video data and their real-time processing requirements have been increasingly hindering the traditional cloud computing approach due to high bandwidth consumption and high latency. Edge computing in essence aims to overcome this hindrance by processing most video data making use of edge servers, such as small-scale on-premises server clusters, server-grade computing resources at mobile base stations and even mobile devices like smartphones and tablets; hence, the term edge-based video analytics. However, the actual realization of such analytics requires more than the simple, collective use of edge servers. In this paper, we survey state-of-the-art works on edge-based video analytics with respect to applications, architectures, techniques, resource management, security and privacy. We provide a comprehensive and detailed review on what works, what doesn't work and why. These findings give insights and suggestions for next generation edge-based video analytics. We also identify open issues and research directions.

研究动机与目标

• 提供对现有最先进的基于边缘的视频分析系统的系统性综述，解决实时处理和可扩展性挑战。
• 识别并分析去中心化边缘环境中架构设计、视频处理技术、资源管理以及安全/隐私方面的核心挑战。
• 评估现有方法的有效性——哪些方法有效、哪些无效，以及原因所在——涵盖不同用例和系统约束下的表现。
• 突出开放的研究问题，并提出构建高效、安全且保护隐私的边缘视频分析系统的未来研究方向。
• 通过整合监控、智慧城市、自主系统和工业监控等应用的洞察，支持下一代视频分析系统的发展。

提出的方法

• 对2015年至2023年期间发表的基于边缘的视频分析领域的同行评审文献进行结构化文献综述，重点关注应用场景、系统架构和使能技术。
• 根据其架构模式（如集中式、联邦式或分层边缘计算模型）对现有边缘视频分析系统进行分类与分析。
• 研究视频处理技术，包括原位分析、模型压缩和协同推理，以减少延迟和带宽使用。
• 利用QoE指标（延迟、准确率、能耗）评估资源管理策略，并评估启发式方法与基于优化的方法在动态边缘环境中的适用性。
• 评估安全与隐私机制，如差分隐私、安全多方计算和基于边缘的数据加密，以保护视频数据和用户身份。
• 将研究发现整合为统一的分类体系，涵盖用例、系统组件和跨领域关注点，特别强调实际部署中的权衡取舍。

Figure 1: The structure of this article.

实验结果

研究问题

• RQ1 基于边缘的视频分析中主导的架构模式是什么？它们如何在性能、可扩展性和资源约束之间取得平衡？
• RQ2 在计算和带宽资源有限的条件下，哪些视频处理与分析技术对实时边缘处理最为有效？
• RQ3 当前的资源管理策略在异构边缘环境中优化QoE指标（如延迟、准确率和能耗）方面的有效性如何？
• RQ4 去中心化边缘视频分析中的关键安全与隐私威胁有哪些？哪些缓解技术在实践中最具前景？
• RQ5 新兴趋势（如5G/6G、基于卫星的摄像头和交互式AR）对边缘视频分析带来了哪些新挑战与新机遇？

主要发现

• 与仅依赖云处理相比，基于边缘的视频分析通过在数据源附近执行计算，显著降低了延迟和带宽消耗。
• 当前的边缘系统在使用压缩视频流或轻量级模型时，往往难以在准确率和延迟之间取得平衡。
• 分布式和联邦式边缘架构在提升可扩展性和隐私保护方面展现出潜力，但需要强大的协调机制和信任保障。
• 高效的视频压缩技术（如超分辨率）可在不牺牲分析准确率的前提下减少带宽，但压缩比与推理性能之间的量化权衡仍缺乏充分探索。
• 5G/6G和基于卫星的视频分析引入了新挑战，如动态连接性和能耗限制，需要集成任务卸载与预测调度机制。
• 能够响应手势和头部运动的交互式AR系统受限于当前边缘处理能力，凸显了对低延迟、上下文感知的视频分析流水线的迫切需求。

Figure 2: Two types of the edge/fog-based video analytics architecture.