[论文解读] Determining the best attributes for surveillance video keywords generation

Liangchen Liu, Arnold Wiliem+3 more|arXiv (Cornell University)|Feb 21, 2016

Video Analysis and Summarization被引用 3

一句话总结

本文提出了一种新颖的方法，通过利用有意义属性中的共享结构模式，自动选择最适合监控视频关键词生成的属性发现方法。该方法评估了PiCoDeS、Spectral Hashing和LSH等方法，结果表明PiCoDeS在关键词准确率方面表现最佳（命中率77.7%），显著减少了人工标注工作量，同时在不依赖词袋特征的前提下保持了高质量的视频描述。

ABSTRACT

Automatic video keyword generation is one of the key ingredients in reducing the burden of security officers in analyzing surveillance videos. Keywords or attributes are generally chosen manually based on expert knowledge of surveillance. Most existing works primarily aim at either supervised learning approaches relying on extensive manual labelling or hierarchical probabilistic models that assume the features are extracted using the bag-of-words approach; thus limiting the utilization of the other features. To address this, we turn our attention to automatic attribute discovery approaches. However, it is not clear which automatic discovery approach can discover the most meaningful attributes. Furthermore, little research has been done on how to compare and choose the best automatic attribute discovery methods. In this paper, we propose a novel approach, based on the shared structure exhibited amongst meaningful attributes, that enables us to compare between different automatic attribute discovery approaches.We then validate our approach by comparing various attribute discovery methods such as PiCoDeS on two attribute datasets. The evaluation shows that our approach is able to select the automatic discovery approach that discovers the most meaningful attributes. We then employ the best discovery approach to generate keywords for videos recorded from a surveillance system. This work shows it is possible to massively reduce the amount of manual work in generating video keywords without limiting ourselves to a particular video feature descriptor.

研究动机与目标

• 解决监控视频关键词生成中自动属性发现方法缺乏系统性比较方法的问题。
• 减少对大量人工标注的依赖，以提升可扩展性并增强对未见事件的适应能力。
• 开发一种选择框架，用于识别不同发现方法中最具意义的属性。
• 在真实监控视频数据集上验证该框架，并证明其在生成准确、人类可理解关键词方面的有效性。

提出的方法

• 该方法基于有意义属性中的共享结构设计距离函数，用于衡量发现属性的意义性。
• 将一组已知的、有意义的属性视为‘标尺’，用以评估和比较不同的自动属性发现方法。
• 该方法被应用于比较PiCoDeS、Spectral Hashing（SH）和局部敏感哈希（LSH）在两个属性数据集上的表现。
• 通过每段视频正确识别关键词的精确率（命中率）评估性能，结果按属性和动作聚合。
• 该框架可在无需额外人工标注的情况下，实现最佳属性发现方法的选择。
• 支持使用选定方法实现端到端的监控视频关键词生成，最大限度减少人工干预。

实验结果

研究问题

• RQ1 哪种自动属性发现方法能为监控视频关键词生成产生最具语义意义的属性？
• RQ2 如何在不依赖人工标注的情况下，客观比较不同的属性发现方法？
• RQ3 有意义属性之间的共享结构模式能否用于定义可靠的属性质量度量标准？
• RQ4 所提出的筛选方法是否能在不同数据集和视频内容上一致地识别出最佳性能方法？
• RQ5 所选方法在保持高关键词准确率的前提下，能在多大程度上减少人工标注工作量？

主要发现

• PiCoDeS在测试数据集上取得了最高的关键词命中率（77.7%），显著优于Spectral Hashing（55.9%）和LSH（48.3%）。
• PiCoDeS发现的大多数属性命中率超过70%，其中两个属性达到100%的准确率。
• 该方法将所需的人工标注任务数（HITs）从N（训练样本数量）减少至J（发现的属性数量），实现了显著的时间与成本节约。
• 评估结果证实，所提出的距离函数能有效识别最具意义的属性集合，验证了其用作选择标准的可靠性。
• 该框架实现了可扩展、低成本的视频关键词生成，且不受特定视频特征描述符的限制。
• 结果表明，可通过有意义属性的结构模式有效评估和选择自动属性发现方法，从而实现在监控系统中的实际部署。