[论文解读] EventNet: A Large Scale Structured Concept Library for Complex Event Detection in Video

Guangnan Ye, Yitong Li+3 more|arXiv (Cornell University)|Jun 8, 2015

Multimodal Machine Learning Applications参考文献 32被引用 13

一句话总结

EventNet 引入了一个大规模、结构化的事件驱动概念库，包含 500 个事件和 4,490 个从 WikiHow 和 YouTube 提取的事件特定概念，采用基于 CNN 的深度特征和 SVM 分类器。与基于 ImageNet 的方法相比，其在零样本事件检索任务中性能提升 207%，展现出在复杂视频事件理解方面更优的性能和语义结构。

ABSTRACT

Event-specific concepts are the semantic concepts designed for the events of interest, which can be used as a mid-level representation of complex events in videos. Existing methods only focus on defining event-specific concepts for a small number of predefined events, but cannot handle novel unseen events. This motivates us to build a large scale event-specific concept library that covers as many real-world events and their concepts as possible. Specifically, we choose WikiHow, an online forum containing a large number of how-to articles on human daily life events. We perform a coarse-to-fine event discovery process and discover 500 events from WikiHow articles. Then we use each event name as query to search YouTube and discover event-specific concepts from the tags of returned videos. After an automatic filter process, we end up with 95,321 videos and 4,490 concepts. We train a Convolutional Neural Network (CNN) model on the 95,321 videos over the 500 events, and use the model to extract deep learning feature from video content. With the learned deep learning feature, we train 4,490 binary SVM classifiers as the event-specific concept library. The concepts and events are further organized in a hierarchical structure defined by WikiHow, and the resultant concept library is called EventNet. Finally, the EventNet concept library is used to generate concept based representation of event videos. To the best of our knowledge, EventNet represents the first video event ontology that organizes events and their concepts into a semantic structure. It offers great potential for event retrieval and browsing. Extensive experiments over the zero-shot event retrieval task when no training samples are available show that the EventNet concept library consistently and significantly outperforms the state-of-the-art (such as the 20K ImageNet concepts trained with CNN) by a large margin up to 207%.

研究动机与目标

• 为了解决现有方法因依赖预定义概念词典而无法处理新出现、未见过事件的局限性。
• 构建一个全面且可扩展的事件特定概念库，覆盖多样化的现实世界事件。
• 将事件及其概念组织成层次化本体结构，以提升语义理解与检索能力。
• 利用学习到的深度特征与结构化知识，实现高效的零样本事件检索与概念匹配。

提出的方法

• 从 WikiHow 文章中挖掘 500 个事件，作为现实世界日常活动的定义。
• 以每个事件名称作为查询，在 YouTube 中搜索并提取视频标签，用于事件特定概念的发现。
• 通过自动过滤流程，从 YouTube 标签中收集 95,321 个视频和 4,490 个事件特定概念。
• 在 95,321 个视频上训练 CNN 模型，为每个事件提取深度学习特征。
• 使用 CNN 特征训练 4,490 个二分类 SVM 分类器，以检测每个事件特定概念。
• 基于 WikiHow 本体结构，将事件与概念组织成层次化树状结构，以支持语义推理与概念匹配。

实验结果

研究问题

• RQ1 与通用概念词典相比，大规模事件驱动概念库是否能提升零样本事件检索性能？
• RQ2 EventNet 的层次化结构在支持新事件查询的概念匹配方面效果如何？
• RQ3 从 YouTube 标签中提取的事件特定概念，在检测视频中复杂高层级事件方面能提升多少性能？
• RQ4 所提出的两步走方法（先检测事件，再检测事件特定概念）是否能提升事件重述的效率与准确性？
• RQ5 EventNet 本体在多类分类任务中，对多样化高层级事件类别的泛化能力如何？

主要发现

• 与使用 20,000 个 ImageNet 概念的最先进方法相比，EventNet 在零样本事件检索性能上实现了 207% 的提升。
• 在 EventNet 本体的 19 个高层级事件类别中，Top-1 准确率达到 38.91%，Top-5 准确率达到 57.67%。
• EventNet 的层次化结构显著提升了对新事件查询的概念匹配性能，优于传统的基于文本的语义分析方法。
• 两步检测流程（先检测事件，再检测事件特定概念）通过减少激活的分类器数量，大幅提升了效率。
• 包含 500 个事件和 95,321 个视频的 EventNet 数据集，为大规模视频事件检测提供了稳健的基准，且基于深度 CNN 模型的基线性能表现强劲。