[论文解读] Rekall: Specifying Video Events using Compositions of Spatiotemporal Labels

Daniel Y. Fu, Will Crichton+8 more|arXiv (Cornell University)|Oct 7, 2019

Video Analysis and Summarization参考文献 55被引用 20

一句话总结

Rekall 引入了一种基于查询的框架，通过使用时空标签组合预训练模型的输出，来指定复杂的视频事件。领域专家仅用数小时的查询开发时间，便实现了与学习模型相当或更优的检测准确率——最高提升26.1 F1分，从而在无需微调的情况下实现快速、灵活的视频分析。

ABSTRACT

Many real-world video analysis applications require the ability to identify domain-specific events in video, such as interviews and commercials in TV news broadcasts, or action sequences in film. Unfortunately, pre-trained models to detect all the events of interest in video may not exist, and training new models from scratch can be costly and labor-intensive. In this paper, we explore the utility of specifying new events in video in a more traditional manner: by writing queries that compose outputs of existing, pre-trained models. To write these queries, we have developed Rekall, a library that exposes a data model and programming model for compositional video event specification. Rekall represents video annotations from different sources (object detectors, transcripts, etc.) as spatiotemporal labels associated with continuous volumes of spacetime in a video, and provides operators for composing labels into queries that model new video events. We demonstrate the use of Rekall in analyzing video from cable TV news broadcasts, films, static-camera vehicular video streams, and commercial autonomous vehicle logs. In these efforts, domain experts were able to quickly (in a few hours to a day) author queries that enabled the accurate detection of new events (on par with, and in some cases much more accurate than, learned approaches) and to rapidly retrieve video clips for human-in-the-loop tasks such as video content curation and training data curation. Finally, in a user study, novice users of Rekall were able to author queries to retrieve new events in video given just one hour of query development time.

研究动机与目标

• 解决当针对特定领域事件的预训练模型不存在时，检测领域特定视频事件的挑战。
• 通过避免端到端模型微调和大规模人工标注，降低视频事件检测的成本与时间。
• 使分析人员能够快速编写和优化查询，组合现有视频标注以检测新事件。
• 支持敏捷的人机协同工作流，用于视频内容筛选、训练数据收集和模型调试。
• 证明启发式组合预训练模型输出可实现与学习方法相当或更优的准确率与效率。

提出的方法

• 将来自不同来源的视频标注（如目标检测器、转录文本）表示为时空标签——即带有元数据的时空连续体。
• 提供一种编程模型，允许使用操作符对标签进行分层组合，以定义复杂事件结构。
• 支持标签之间的时序与空间组合操作（如重叠、邻近、包含），以建模事件语义。
• 使用户能够编写声明式查询，组合现有模型的输出，而无需重新训练。
• 使用统一的数据模型处理多模态、多分辨率的标注（如帧级检测、词级转录）。
• 支持基于结果检查的迭代查询优化，以实现阈值和重叠参数的调试与调优。

实验结果

研究问题

• RQ1 在不进行微调的情况下，基于预训练模型输出的组合式查询编写能否实现对新型视频事件的准确检测？
• RQ2 在真实世界视频分析任务中，Rekall 的启发式组合方法与端到端学习模型相比，性能如何？
• RQ3 非专家用户在使用 Rekall 时，能在多大程度上快速编写出有效的查询来检测新视频事件？
• RQ4 Rekall 如何在真实应用中支持训练数据和异常视频片段的发现与筛选？
• RQ5 当底层标签因遮挡或模型不准确而失效时，组合式规范方法存在哪些局限性？

主要发现

• 使用 Rekall 的领域专家在检测准确率上达到或超过学习方法，部分情况下最高提升26.1 F1分。
• 在所评估的任务中，Rekall 查询的平均准确率比学习模型高出6.5 F1分。
• 新手用户仅用一小时左右的开发时间，即可编写出可运行的查询以检测新视频事件。
• Rekall 显著加速了人工参与的视频工作流，实现了对视频片段的快速检索，用于内容筛选和训练数据收集。
• 该框架成功检测了包括访谈、广告、动作序列和交通事件在内的多种事件，覆盖新闻、影视和自动驾驶日志等多样化领域。
• 尽管优势明显，当基础检测器因遮挡而失效时，Rekall 在需要精细运动或行为建模的事件（如接吻场景）上仍表现不佳。