[论文解读] Building A Large Concept Bank for Representing Events in Video

Yin Cui, Dong Liu+2 more|arXiv (Cornell University)|Mar 29, 2014

Advanced Image and Video Retrieval Techniques参考文献 27被引用 12

一句话总结

本文提出了Concept Bank，一个包含4,876个概念的大规模、事件特定的概念库，采用五层分层本体结构组织，通过挖掘WikiHow获取现实世界事件信息，并通过Flickr获取与概念相关的图像标签构建而成。该方法使用多重核线性SVM训练概念检测器，并采用语义匹配方法为事件查询选择相关概念，在TRECVID和Columbia Consumer Video数据集上实现了监督事件建模与零样本检索的最先进性能。

ABSTRACT

Concept-based video representation has proven to be effective in complex event detection. However, existing methods either manually design concepts or directly adopt concept libraries not specifically designed for events. In this paper, we propose to build Concept Bank, the largest concept library consisting of 4,876 concepts specifically designed to cover 631 real-world events. To construct the Concept Bank, we first gather a comprehensive event collection from WikiHow, a collaborative writing project that aims to build the world's largest manual for any possible How-To event. For each event, we then search Flickr and discover relevant concepts from the tags of the returned images. We train a Multiple Kernel Linear SVM for each discovered concept as a concept detector in Concept Bank. We organize the concepts into a five-layer tree structure, in which the higher-level nodes correspond to the event categories while the leaf nodes are the event-specific concepts discovered for each event. Based on such tree ontology, we develop a semantic matching method to select relevant concepts for each textual event query, and then apply the corresponding concept detectors to generate concept-based video representations. We use TRECVID Multimedia Event Detection 2013 and Columbia Consumer Video open source event definitions and videos as our test sets and show very promising results on two video event detection tasks: event modeling over concept space and zero-shot event retrieval. To the best of our knowledge, this is the largest concept library covering the largest number of real-world events.

研究动机与目标

• 为高层次视频表征解决缺乏全面、事件特定概念库的问题。
• 开发一种可扩展、自动化的技术，从网络图像中发现可视觉检测的概念，以支持复杂事件的表征。
• 在无需大规模训练视频的情况下，实现有效的基于概念的视频表征，尤其适用于零样本事件检测。
• 将概念组织成结构化本体，以支持语义匹配与高效检索。
• 通过利用大规模、多样化且语义相关的概念库，提升事件检测性能。

提出的方法

• 从WikiHow（一个协作式操作知识库）中收集631个现实世界事件，以确保涵盖日常生活活动的广泛性。
• 针对每个事件，使用事件名称在Flickr中进行查询，获取图像集合，并提取相关标签作为候选概念。
• 应用自动语义概念发现方法，从图像标签中过滤并选择与事件相关联的概念。
• 针对每个发现的概念，使用对应图像集作为正样本、随机图像作为负样本，训练多重核线性SVM。
• 将所有概念组织成五层分层树状结构，高层为事件类别，低层为事件特定概念。
• 开发一种基于词嵌入的语义匹配方法，根据与给定文本事件查询的相关性对概念进行排序，并选择前k个概念用于表征。

实验结果

研究问题

• RQ1 能否利用网络规模图像数据与协作知识库，自动构建大规模、面向事件的概念库？
• RQ2 自动发现的、基于概念的表征在视频中支持复杂事件检测的效率如何？
• RQ3 概念库的覆盖范围与相关性在多大程度上影响零样本事件检索性能？
• RQ4 在无训练视频的情况下，查询事件与预构建概念之间的语义匹配能否实现有效的概念选择？
• RQ5 随着相关概念数量的增加，基于概念的视频表征性能如何变化？

主要发现

• Concept Bank 包含 4,876 个覆盖 631 个真实世界事件的事件特定概念，是文献中规模最大的此类概念库。
• 所提出的语义匹配方法仅通过文本描述即可成功识别查询事件的相关概念，无需依赖训练视频。
• 在 TRECVID 2013 和 Columbia Consumer Video 数据集上，Concept Bank 在监督事件建模与零样本检索中均实现了最先进性能。
• 随着从 Concept Bank 中选择的概念数量增加，零样本检索性能持续提升，而使用 Classemes 时性能下降，原因在于引入了无关概念。
• 计算成本可控：每个事件查询的语义匹配耗时约 78 秒，单个视频的概念得分生成平均耗时约 110 秒。
• 使用排名靠前的概念进行视频语义重述，能有效揭示有意义的语义内容，如通过每视频前5个概念的定性结果所示。