[论文解读] BlazeIt: Optimizing Declarative Aggregation and Limit Queries for Neural Network-Based Video Analytics

Daniel Kang, Peter Bailis+1 more|arXiv (Cornell University)|May 2, 2018

Advanced Image and Video Retrieval Techniques参考文献 60被引用 28

一句话总结

BlazeIt 引入了一种用于基于神经网络的视频分析的声明式查询系统，通过使用专用神经网络作为控制变量以及优先搜索算法，优化了聚合查询和限制查询。该方法在保持精度保证的前提下，相较于先前的方法实现了高达83倍的加速，即使在代理模型不完美时亦成立。

ABSTRACT

Recent advances in neural networks (NNs) have enabled automatic querying of large volumes of video data with high accuracy. While these deep NNs can produce accurate annotations of an object's position and type in video, they are computationally expensive and require complex, imperative deployment code to answer queries. Prior work uses approximate filtering to reduce the cost of video analytics, but does not handle two important classes of queries, aggregation and limit queries; moreover, these approaches still require complex code to deploy. To address the computational and usability challenges of querying video at scale, we introduce BlazeIt, a system that optimizes queries of spatiotemporal information of objects in video. BlazeIt accepts queries via FrameQL, a declarative extension of SQL for video analytics that enables video-specific query optimization. We introduce two new query optimization techniques in BlazeIt that are not supported by prior work. First, we develop methods of using NNs as control variates to quickly answer approximate aggregation queries with error bounds. Second, we present a novel search algorithm for cardinality-limited video queries. Through these these optimizations, BlazeIt can deliver up to 83x speedups over the recent literature on video processing.

研究动机与目标

• 解决在大规模视频分析中部署深度神经网络（DNNs）所面临的高计算成本和复杂指令式代码问题。
• 实现对视频数据的高效声明式查询，支持聚合查询和限制查询——这两类查询在先前的近似过滤技术中支持不佳。
• 在无需完整帧级 DNN 推理的情况下，提供精确答案或形式化的误差界，用于聚合查询和基数受限查询。
• 通过查询感知优化减少昂贵的 DNN 调用次数，利用专用神经网络作为控制变量以及帧优先级排序。
• 统一声明式查询规范与端到端优化，使非专家用户可通过 FrameQL 表达复杂的视频分析工作负载。

提出的方法

• 提出 FrameQL，一种用于视频分析的声明式 SQL 扩展，将时空对象信息表达为虚拟关系。
• 使用查询特定的专用神经网络作为控制变量，以减少近似聚合查询中的方差，从而在误差有界的前提下减少 DNN 调用次数。
• 应用一种新颖的搜索算法，利用代理模型优先选择可能包含目标事件的帧（例如，包含至少三辆汽车的帧），从而加速限制查询。
• 采用基于规则的查询优化器，生成最小化 DNN 调用次数的执行计划，同时保持精度保证。
• 通过将专业化扩展至多类别和计数工作负载，同时支持聚合查询和限制查询。
• 集成对专用神经网络不准确性具有鲁棒性的优化机制，确保无论代理模型质量如何，结果均保持正确性或误差有界。

实验结果

研究问题

• RQ1 专用神经网络能否被有效重用于作为控制变量，以加速视频分析中的近似聚合查询？
• RQ2 如何通过代理模型实现帧优先排序，以提高基数受限查询（例如，查找包含三辆汽车的前10帧）的效率，同时不牺牲准确性？
• RQ3 声明式查询语言和优化器能否自动为复杂视频分析工作负载生成高效执行计划？
• RQ4 查询特定的优化能在多大程度上降低 DNN 推理成本，同时保持形式化的误差界？
• RQ5 与 NoScope 和近似查询处理等先前系统相比，这些优化在频繁和稀有目标模式下的性能表现如何？

主要发现

• BlazeIt 在视频分析工作负载中实现了相较于最先进方法高达83倍的加速，尤其在聚合查询和限制查询中表现突出。
• 使用专用神经网络作为控制变量可显著降低聚合估计的方差，从而在大幅减少 DNN 调用次数的情况下获得准确结果。
• 针对限制查询的优先搜索算法通过聚焦于高概率候选帧，减少了需进行完整 DNN 推理的帧数，尤其在稀有事件场景下效果显著。
• 即使专用神经网络不准确，BlazeIt 仍能保持形式化的精度保证，这得益于控制变量和基于搜索的设计。
• 与 NoScope 等基于过滤的先前方法及近似查询处理相比，该系统在高目标频率场景下表现更优，因为此时过滤机制效率低下。
• FrameQL 使非专家用户能够以声明式方式表达复杂的视频分析查询，系统自动处理端到端优化。