[论文解读] A Serverless Cloud-Fog Platform for DNN-Based Video Analytics with Incremental Learning

Huaizheng Zhang, Meng Shen+5 more|arXiv (Cornell University)|Feb 5, 2021

Video Surveillance and Tracking Methods参考文献 26被引用 16

一句话总结

该论文提出VPaaS，一种基于DNN的视频分析无服务器云雾平台，通过使用轻量级协议和增量学习，将智能视频处理卸载至雾节点，从而降低带宽、延迟和成本。与最先进系统相比，其往返时延（RTT）降低高达62.5%，带宽减少21%，云成本降低50%，同时通过人机协同模型优化保持高精度。

ABSTRACT

DNN-based video analytics have empowered many new applications (e.g., automated retail). Meanwhile, the proliferation of fog devices provides developers with more design options to improve performance and save cost. To the best of our knowledge, this paper presents the first serverless system that takes full advantage of the client-fog-cloud synergy to better serve the DNN-based video analytics. Specifically, the system aims to achieve two goals: 1) Provide the optimal analytics results under the constraints of lower bandwidth usage and shorter round-trip time (RTT) by judiciously managing the computational and bandwidth resources deployed in the client, fog, and cloud environment. 2) Free developers from tedious administration and operation tasks, including DNN deployment, cloud and fog's resource management. To this end, we implement a holistic cloud-fog system referred to as VPaaS (Video-Platform-as-a-Service). VPaaS adopts serverless computing to enable developers to build a video analytics pipeline by simply programming a set of functions (e.g., model inference), which are then orchestrated to process videos through carefully designed modules. To save bandwidth and reduce RTT, VPaaS provides a new video streaming protocol that only sends low-quality video to the cloud. The state-of-the-art (SOTA) DNNs deployed at the cloud can identify regions of video frames that need further processing at the fog ends. At the fog ends, misidentified labels in these regions can be corrected using a light-weight DNN model. To address the data drift issues, we incorporate limited human feedback into the system to verify the results and adopt incremental learning to improve our system continuously. The evaluation demonstrates that VPaaS is superior to several SOTA systems: it maintains high accuracy while reducing bandwidth usage by up to 21%, RTT by up to 62.5%, and cloud monetary cost by up to 50%.

研究动机与目标

• 通过利用客户端-雾-云协同机制，解决基于DNN的视频分析中高带宽使用和长往返时延的问题。
• 通过智能资源编排，降低基于云的视频分析中的运营和基础设施成本。
• 通过支持无服务器函数的流水线组合，使开发人员摆脱底层系统管理。
• 通过结合人机协同反馈的增量学习，缓解现实世界视频分析中的数据漂移问题。
• 在动态工作负载和网络中断条件下，确保系统的容错性和可扩展性。

提出的方法

• 设计一种新型视频流协议，仅向云端传输低质量视频，从而减少带宽消耗。
• 在客户端、雾节点和云端三层之间编排无服务器函数，实现视频预处理、推理和后处理。
• 在云端部署高性能DNN，识别需要在雾层进一步处理的区域。
• 在雾节点使用轻量级DNN模型，校正云端预测的错误标签。
• 集成人机协同反馈，验证结果并训练增量模型，实现性能的持续改进。
• 采用共享GPU同时执行推理和增量训练，以最小化云成本并避免资源争用。

实验结果

研究问题

• RQ1 如何在不牺牲准确率的前提下，通过云雾架构最小化基于DNN的视频分析中的带宽使用和往返时延（RTT）？
• RQ2 无服务器计算在多大程度上可简化视频分析流水线的部署与管理？
• RQ3 结合人类反馈的增量学习在缓解现实世界视频分析中数据漂移问题方面有多有效？
• RQ4 混合客户端-雾-云系统是否能在网络中断或云故障期间维持服务连续性？
• RQ5 在动态工作负载和不同网络条件下，该系统如何实现可扩展性？

主要发现

• 通过仅向云端传输低质量视频，VPaaS相比最先进系统最多可减少21%的带宽使用。
• 通过减少对云端的依赖并将处理任务卸载至附近的雾节点，系统实现最高62.5%的往返时延（RTT）降低。
• 通过优化资源利用和推理与训练共享GPU，云的货币成本最多降低50%。
• 结合人类反馈的增量学习可随时间提升模型准确率，表现为GPU利用率提升15%，且训练期间仅增加0.5秒延迟开销。
• 在云端发生故障时，系统通过在雾层切换至轻量级YOLOv3模型，维持服务连续性，确保低延迟运行（尽管准确率有所降低）。
• 系统实现动态可扩展性，GPU资源分配随工作负载增加而提升，在高视频流量下仍能保持低延迟。