[論文レビュー] Web Video Categorization based on Wikipedia Categories and Content-Duplicated Open Resources

Zhineng Chen, Juan Cao+3 more|arXiv (Cornell University)|Aug 4, 2010

Text and Document Classification Technologies参考文献 7被引用数 4

ひとこと要約

本稿では、Wikipediaのカテゴリ（WikiCs）と、多様なメディア形式からのコンテンツ重複オープンリソース（CDORs）を活用するウェブ動画分類手法を提案する。判別性の高いWikiCの概念からクエリを構築し、検索エンジンを介してCDORsを収集することで、WikiC空間において投票アルゴリズムを用いて動画カテゴリをモデル化し、単一リソースまたは最先端手法よりも優れた性能を達成する。

ABSTRACT

This paper presents a novel approach for web video categorization by leveraging Wikipedia categories (WikiCs) and open resources describing the same content as the video, i.e., content-duplicated open resources (CDORs). Note that current approaches only col-lect CDORs within one or a few media forms and ignore CDORs of other forms. We explore all these resources by utilizing WikiCs and commercial search engines. Given a web video, its discrimin-ative Wikipedia concepts are first identified and classified. Then a textual query is constructed and from which CDORs are collected. Based on these CDORs, we propose to categorize web videos in the space spanned by WikiCs rather than that spanned by raw tags. Experimental results demonstrate the effectiveness of both the proposed CDOR collection method and the WikiC voting catego-rization algorithm. In addition, the categorization model built based on both WikiCs and CDORs achieves better performance compared with the models built based on only one of them as well as state-of-the-art approach.

研究の動機と目的

• 既存の動画分類手法が単一のメディア形式内でのみコンテンツ重複リソースを収集しているという制限を解消すること。
• 同じコンテンツを記述する異種のオープンリソース（例：テキスト、画像、動画）を統合することで、動画分類の正確性を向上させること。
• WikipediaカテゴリとクロスマディアCDORsを統合して、より強固な動画分類のための統一フレームワークを構築すること。
• WikiCsとCDORsを組み合わせた手法の有効性を、単一リソースタイプまたは最先端のアプローチにのみ依存するモデルと比較して評価すること。

提案手法

• ウェブ動画のメタデータとコンテンツを分析することで、判別性の高いWikipediaの概念を特定する。
• 特定されたWikipediaの概念に基づいてテキストクエリを構築し、商用検索エンジンを介してコンテンツ重複オープンリソース（CDORs）を取得する。
• ターゲット動画と同一の基礎的コンテンツを記述する複数のメディアタイプ（例：テキスト、画像、動画）のCDORsを収集する。
• 生のタグではなく、Wikipediaカテゴリ（WikiCs）が張る空間において動画カテゴリを表現する。
• CDORから得られるカテゴリ予測を統合するためにWikiC投票アルゴリズムを適用し、最終的な動画カテゴリを割り当てる。
• WikiCsとCDORsの両方を用いて分類モデルを学習・評価し、単一リソースタイプにのみ依存するモデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaカテゴリとクロスマディアコンテンツ重複オープンリソースを活用することで、ウェブ動画分類の正確性が向上するか？
• RQ2 複数のメディア形式からのCDORsを組み合わせることと、単一メディアタイプからのCDORsに依存することとでは、性能にどのような差が出るか？
• RQ3 WikiCベースの投票モデルは、生のタグや単一リソースアプローチに依存するモデルよりも優れているか？
• RQ4 WikiCsとCDORsの相対的な貢献度は、全体の分類性能にどのように寄与しているか？
• RQ5 提案手法は、最先端の動画分類技術と比較してどのように優れているか？

主な発見

• 提案されたCDOR収集手法は、多様なメディア形式にわたり関連性の高いオープンリソースを効果的に取得でき、特徴の豊かさが向上する。
• WikiC投票分類アルゴリズムは、生のタグや単一リソース入力に依存するモデルよりも高い正確性を達成する。
• WikipediaカテゴリとCDORsの両方を用いた統合モデルは、これらのリソースのいずれかにのみ依存するモデルよりも優れた性能を示す。
• ベンチマークデータを用いた実験結果により、提案手法は最先端のアプローチよりも優れた性能を示す。
• 異種のCDORsとWikiCsの統合により、より強固で判別性の高い動画分類フレームワークが実現される。