[论文解读] AI Oriented Large-Scale Video Management for Smart City: Technologies, Standards and Beyond

Ling‐Yu Duan, Yihang Lou+3 more|arXiv (Cornell University)|Dec 5, 2017

Video Surveillance and Tracking Methods参考文献 23被引用 5

一句话总结

本文提出了一种面向智慧城市人工智能驱动的大规模视频管理中深度特征编码的标准化框架，重点在于可互操作的比特流语法，而非特定的深度学习模型。通过实现紧凑、模型无关的深度特征的统一压缩与传输，该方法支持在多样化人工智能系统间实现可扩展、高效的视频分析，同时保持对不断演进的深度学习架构的灵活性，旨在实现长期标准化活力，并融入城市级人工智能基础设施。

ABSTRACT

Deep learning has achieved substantial success in a series of tasks in computer vision. Intelligent video analysis, which can be broadly applied to video surveillance in various smart city applications, can also be driven by such powerful deep learning engines. To practically facilitate deep neural network models in the large-scale video analysis, there are still unprecedented challenges for the large-scale video data management. Deep feature coding, instead of video coding, provides a practical solution for handling the large-scale video surveillance data. To enable interoperability in the context of deep feature coding, standardization is urgent and important. However, due to the explosion of deep learning algorithms and the particularity of feature coding, there are numerous remaining problems in the standardization process. This paper envisions the future deep feature coding standard for the AI oriented large-scale video management, and discusses existing techniques, standards and possible solutions for these open problems.

研究动机与目标

• 解决在智慧城市中使用人工智能驱动的特征编码管理大规模监控视频数据的挑战。
• 通过标准化的特征比特流，实现多样化深度学习模型在视频分析中的互操作性。
• 提出一种实用且具有前瞻性的标准化策略，将特征提取与压缩语法解耦，以确保长期适应性。
• 在标准化需求与深度学习模型及算法的快速演进之间取得平衡。
• 通过支持统一、高效的视频数据处理，促进城市级人工智能系统（如城市大脑）的开发。

提出的方法

• 提出一种半互操作标准，聚焦于压缩后深度特征比特流的语法，而非底层深度学习模型。
• 采用类似视频编码的‘仅解码’标准化模式，即任何符合规范的解码器均可从标准化比特流重建特征。
• 利用现有视频编码技术——如帧内/帧间预测、率失真优化以及非局部预测——以减少特征冗余。
• 通过集成目标提议与检测器（如 YOLO）将帧级特征压缩扩展至目标级，实现局部化、高效的特征提取。
• 标准化最终的比特流语法，以支持统一的传输与解码，同时将原始特征提取方法开放以供未来创新。
• 设计一种可扩展的框架，支持多种工作点（例如 512B 至 16KB），以适应现实部署中不同的带宽条件。

实验结果

研究问题

• RQ1 如何在大规模智慧城市视频系统中实现来自多样化深度学习模型的深度特征比特流的互操作性？
• RQ2 何种标准化策略能够在长期可行性与深度学习模型的快速演进之间取得平衡？
• RQ3 视频编码技术在多大程度上可被适配以高效压缩深度特征并减少冗余？
• RQ4 目标级特征提取与压缩在视频监控中如何提升效率与可扩展性？
• RQ5 标准化比特流语法在实现统一、城市级人工智能视频管理系统方面发挥何种作用？

主要发现

• 所提出的标准化策略聚焦于压缩后深度特征的比特流语法，实现互操作性，而无需强制规定特定的深度学习模型。
• 通过将特征提取与压缩标准化解耦，该框架确保了对新型及演进中的深度学习架构的长期适应性。
• 采用视频编码启发的技术（如帧间预测与率失真优化）可有效减少深度特征流中的冗余。
• 通过 YOLO 等检测器实现的目标级特征压缩，可实现更高效、上下文感知的特征表示与传输。
• 该框架支持多种工作点（512B 至 16KB），可适应现实部署中不同的网络条件。
• 该方法使统一的解码器能够处理来自不同模型的特征比特流，确保在城市级人工智能系统中具备兼容性与可扩展性。