[論文レビュー] EventNet: A Large Scale Structured Concept Library for Complex Event Detection in Video

Guangnan Ye, Yitong Li+3 more|arXiv (Cornell University)|Jun 8, 2015

Multimodal Machine Learning Applications参考文献 32被引用数 13

ひとこと要約

EventNet は、WikiHow と YouTube から抽出した CNN ベースの深層特徴と SVM 分類器を用いて、500 件のイベントと 4,490 個のイベント固有の概念を有する大規模かつ構造的なイベント駆動型コンセプトライブラリを導入した。ImageNet に基づく手法と比較して、ゼロショットイベント検索性能が 207% 向上し、複雑な動画イベント理解における優れた性能と意味的構造を示した。

ABSTRACT

Event-specific concepts are the semantic concepts designed for the events of interest, which can be used as a mid-level representation of complex events in videos. Existing methods only focus on defining event-specific concepts for a small number of predefined events, but cannot handle novel unseen events. This motivates us to build a large scale event-specific concept library that covers as many real-world events and their concepts as possible. Specifically, we choose WikiHow, an online forum containing a large number of how-to articles on human daily life events. We perform a coarse-to-fine event discovery process and discover 500 events from WikiHow articles. Then we use each event name as query to search YouTube and discover event-specific concepts from the tags of returned videos. After an automatic filter process, we end up with 95,321 videos and 4,490 concepts. We train a Convolutional Neural Network (CNN) model on the 95,321 videos over the 500 events, and use the model to extract deep learning feature from video content. With the learned deep learning feature, we train 4,490 binary SVM classifiers as the event-specific concept library. The concepts and events are further organized in a hierarchical structure defined by WikiHow, and the resultant concept library is called EventNet. Finally, the EventNet concept library is used to generate concept based representation of event videos. To the best of our knowledge, EventNet represents the first video event ontology that organizes events and their concepts into a semantic structure. It offers great potential for event retrieval and browsing. Extensive experiments over the zero-shot event retrieval task when no training samples are available show that the EventNet concept library consistently and significantly outperforms the state-of-the-art (such as the 20K ImageNet concepts trained with CNN) by a large margin up to 207%.

研究の動機と目的

• 既存手法が事前に定義されたコンセプト語彙依赖のため、未観測の新しいイベントを処理できないという限界に対処すること。
• 多様な現実世界のイベントをカバーする包括的かつスケーラブルなイベント固有のコンセプトライブラリを構築すること。
• イベントとそのコンセプトを階層的オントロジーとして整理し、意味的理解と検索の向上を図ること。
• 学習された深層特徴と構造的知識を用いて、効果的なゼロショットイベント検索とコンセプトマッチングを可能にすること。

提案手法

• 日常的な現実世界のイベントを定義するために、大規模なオンラインハウツーフォーラムである WikiHow の記事から 500 件のイベントを抽出する。
• 各イベント名をクエリとして用い、YouTube を検索し、動画タグを抽出することで、イベント固有のコンセプトを発見する。
• 自動フィルタリング処理を適用して、YouTube タグから 95,321 本の動画と 4,490 個のイベント固有のコンセプトを収集する。
• 各イベントの深層学習特徴を抽出するために、95,321 本の動画で CNN モデルを訓練する。
• CNN 特徴を用いて 4,490 個のバイナリ SVM 分類器を訓練し、各イベント固有のコンセプトを検出する。
• WikiHow のオントロジーに基づいて、イベントとコンセプトを階層的ツリー構造に整理することで、意味的推論とコンセプトマッチングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般的なコンセプト語彙と比較して、大規模かつイベント駆動型のコンセプトライブラリは、ゼロショットイベント検索性能を向上させるか？
• RQ2 EventNet の階層的構造は、未学習のイベントクエリにおけるコンセプトマッチングにどの程度効果的か？
• RQ3 YouTube タグから抽出したイベント固有のコンセプトは、動画における複雑で高レベルのイベントの検出にどの程度寄与するか？
• RQ4 イベント検出の後にコンセプト検出を行う二段階アプローチは、イベント再現における効率性と正確性を向上させるか？
• RQ5 EventNet のオントロジーは、多様な高レベルのイベントカテゴリにおける多クラス分類にどの程度一般化可能か？

主な発見

• EventNet は、20,000 個の ImageNet コンセプトを用いた最先端手法と比較して、ゼロショットイベント検索性能が 207% 向上した。
• EventNet オントロジーの 19 個の高レベルイベントカテゴリにおけるトップ-1 正解率は 38.91%、トップ-5 正解率は 57.67% を達成した。
• EventNet の階層的構造は、未学習のイベントクエリにおけるコンセプトマッチングを顕著に向上させ、従来のテキストベースの意味的分析を上回った。
• イベント検出を最初に実行し、その後にイベント固有のコンセプトを検出する二段階検出パイプラインは、有効な分類器の数を削減することで、大幅に効率性が向上した。
• 500 イベントにまたがる 95,321 本の動画からなる EventNet データセットは、大規模な動画イベント検出のための強固なベンチマークを提供し、深層 CNN モデルを用いた強力なベースライン性能を示した。