[論文レビュー] Building A Large Concept Bank for Representing Events in Video

Yin Cui, Dong Liu+2 more|arXiv (Cornell University)|Mar 29, 2014

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 12

ひとこと要約

本稿では、実世界のイベントを対象とした4,876の概念を含む大規模な概念ライブラリ「Concept Bank」を紹介する。このライブラリは、WikiHowから実世界のイベントを抽出し、Flickrから概念に関連する画像タグを収集することで構築された五層構造の階層的オントロジーである。概念検出器の学習にはMultiple Kernel Linear SVMを、イベントクエリに該当する概念の選択には意味的マッチング手法を用い、TRECVIDおよびColumbia Consumer Videoデータセットにおいて、教師ありイベントモデリングおよびゼロショットリtrievalの両面で最先端の性能を達成した。

ABSTRACT

Concept-based video representation has proven to be effective in complex event detection. However, existing methods either manually design concepts or directly adopt concept libraries not specifically designed for events. In this paper, we propose to build Concept Bank, the largest concept library consisting of 4,876 concepts specifically designed to cover 631 real-world events. To construct the Concept Bank, we first gather a comprehensive event collection from WikiHow, a collaborative writing project that aims to build the world's largest manual for any possible How-To event. For each event, we then search Flickr and discover relevant concepts from the tags of the returned images. We train a Multiple Kernel Linear SVM for each discovered concept as a concept detector in Concept Bank. We organize the concepts into a five-layer tree structure, in which the higher-level nodes correspond to the event categories while the leaf nodes are the event-specific concepts discovered for each event. Based on such tree ontology, we develop a semantic matching method to select relevant concepts for each textual event query, and then apply the corresponding concept detectors to generate concept-based video representations. We use TRECVID Multimedia Event Detection 2013 and Columbia Consumer Video open source event definitions and videos as our test sets and show very promising results on two video event detection tasks: event modeling over concept space and zero-shot event retrieval. To the best of our knowledge, this is the largest concept library covering the largest number of real-world events.

研究の動機と目的

• 高水準な動画表現のための包括的でイベント特化型の概念ライブラリの不足に対処すること。
• 複雑なイベント表現のため、Web上の画像から視覚的に検出可能な概念をスケーラブルかつ自動的に発見する手法の開発。
• 特にゼロショットイベント検出を想定し、大規模なトレーニング動画に依存せずに効果的な概念ベースの動画表現を可能にすること。
• 意味的マッチングと効率的なリtrievalを支援する構造的オントロジーに概念を整理すること。
• 多様で意味的に関連性の高い大規模な概念バンクを活用することで、イベント検出の性能を向上させること。

提案手法

• 日常的な活動を幅広くカバーするため、共同作業型のハウトゥーコンセンスベースであるWikiHowから631の実世界のイベントを収集する。
• 各イベントについて、イベント名を用いてFlickrを検索し、関連する画像コレクションを取得し、関連タグを候補概念として抽出する。
• 自動的意味的概念発見手法を適用して、画像タグからイベントに関連する概念をフィルタリング・選択する。
• 対応する画像セットを正例サンプル、ランダム画像を負例サンプルとして用い、発見された各概念に対してMultiple Kernel Linear SVMを訓練する。
• イベントカテゴリを上位レベルに、イベント固有の概念を葉ノードに配置する五層構造の階層的ツリー構造にすべての概念を整理する。
• 単語埋め込みを用いた意味的マッチング手法を開発し、与えられたテキスト的イベントクエリに対して関連性の高い概念をランク付けし、代表的な上位-k個の概念を選択する。

実験結果

リサーチクエスチョン

• RQ1 Webスケールの画像データと共同知識ベースを用いて、自動的に大規模かつイベント指向の概念ライブラリを構築できるか？
• RQ2 自動的に発見された概念ベースの表現は、動画における複雑なイベント検出にどの程度効果的に機能するか？
• RQ3 概念ライブラリのカバレッジと関連性が、ゼロショットイベントリtrieval性能にどの程度影響を及えるか？
• RQ4 トレーニング動画が不要な状況でも、クエリイベントと事前に構築された概念との意味的マッチングによって、効果的な概念選択が可能か？
• RQ5 関連概念の数が増加するに従って、概念ベースの動画表現の性能はどのようにスケーリングするか？

主な発見

• Concept Bankは631の実世界のイベントをカバーする4,876のイベント固有の概念を含み、文献上でも最大規模の同種のライブラリである。
• 提案された意味的マッチング手法は、トレーニング動画を一切必要とせず、テキスト記述のみでクエリイベントに該当する関連概念を的確に同定できた。
• TRECVID 2013およびColumbia Consumer Videoデータセットにおいて、Concept Bankは教師ありイベントモデリングおよびゼロショットリtrievalの両方で最先端の性能を達成した。
• ゼロショットリtrievalの性能は、Concept Bankから選択された概念数が増加するに従って向上した一方、Classemesの性能は不適切な概念の混入により低下した。
• 計算コストは管理可能である：1件のイベントクエリに対して意味的マッチングは約78秒、動画の概念スコア生成には平均して約110秒を要した。
• 上位5つの概念リストを用いた動画の意味的要約は、質的評価において意味のある意味的コンテンツを効果的に抽出していた。