[論文レビュー] The YLI-MED Corpus: Characteristics, Procedures, and Plans

Julia Bernd, Damian Borth+8 more|arXiv (Cornell University)|Mar 13, 2015

Video Analysis and Summarization参考文献 25被引用数 18

ひとこと要約

YLI-MEDコーパスは、YFCC100Mから抽出された50,700件のユーザー生成動画から構成される公開済みで人手によるアノテーションが施されたデータセットであり、10種類のターゲットマルチメディアイベント（例：誕生日パーティー、結婚式）を対象に2,000件の動画がラベル付けされ、残りの48,700件は非イベント動画である。詳細なアノテーションとして、イベントタイプ、アノテーター間合意度、信頼スコア、および言語や音楽を含む非イベント特徴が含まれており、音声・視覚的特徴および動き分析のための特徴バンドルを含む、標準化されたトレーニング／テスト分割を備えたマルチメディアイベント検出システムのトレーニングおよび評価を可能にしている。

ABSTRACT

The YLI Multimedia Event Detection corpus is a public-domain index of videos with annotations and computed features, specialized for research in multimedia event detection (MED), i.e., automatically identifying what's happening in a video by analyzing the audio and visual content. The videos indexed in the YLI-MED corpus are a subset of the larger YLI feature corpus, which is being developed by the International Computer Science Institute and Lawrence Livermore National Laboratory based on the Yahoo Flickr Creative Commons 100 Million (YFCC100M) dataset. The videos in YLI-MED are categorized as depicting one of ten target events, or no target event, and are annotated for additional attributes like language spoken and whether the video has a musical score. The annotations also include degree of annotator agreement and average annotator confidence scores for the event categorization of each video. Version 1.0 of YLI-MED includes 1823 "positive" videos that depict the target events and 48,138 "negative" videos, as well as 177 supplementary videos that are similar to event videos but are not positive examples. Our goal in producing YLI-MED is to be as open about our data and procedures as possible. This report describes the procedures used to collect the corpus; gives detailed descriptive statistics about the corpus makeup (and how video attributes affected annotators' judgments); discusses possible biases in the corpus introduced by our procedural choices and compares it with the most similar existing dataset, TRECVID MED's HAVIC corpus; and gives an overview of our future plans for expanding the annotation effort.

研究の動機と目的

• 自動イベント検出の研究を支援するため、大規模かつ公開可能なユーザー生成動画のコーパスを、マルチメディアイベントに対してアノテーションを施して構築すること。
• 複数のアノテーターによる段階的検証、コンセンサススコア、信頼度推定を用いて、高品質なアノテーションを確保すること。
• 均衡的なイベント分布とネガティブ例を備えた標準化されたトレーニング／テストセットを提供することで、システム間の公平な比較を可能にすること。
• YFCC100Mデータセットに、言語や音楽といった非イベント特徴を含む、豊富で構造化されたイベントアノテーションを追加すること。
• 将来的なマルチメディアゲノムプロジェクト（MMGP）の基盤を築くこと。これには、イベントカバレッジの拡張および動画コンテンツの包括的アノテーションが含まれる。

提案手法

• イベント定義は、繰り返しの研究と合意形成を通じて開発され、アノテーターが明確かつ一貫して理解できるようにされた。
• キーワードおよびメタデータのフィルタを用いてYFCC100Mから動画を収集し、その後手動でのレビューとイベントおよび非イベント特徴のアノテーションが行われた。
• アノテーター間合意度と信頼スコアは、アノテーター間合意度指標と主観的信頼度評価を用いて計算され、ラベルの信頼性を評価した。
• 低合意度動画を除外し、コンセンサスベースのフィルタリングによるユーザーバイアスの低減を経て、コーパスはトレーニングセットとテストセットに分割された。
• ネガティブ動画は自動メタデータフィルタリングにより選別され、手動での確認が行われ、いずれのターゲットイベントも含まないことを確認した。
• 音声埋め込み（YFCC-CC）、視覚的特徴（AlexNet）、画像特徴（LIRE）を含む、事前に計算済みの特徴バンドルがアノテーションと共に事前に計算され、公開された。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ公開可能な動画コーパスを、高品質なアノテーションを備えたマルチメディアイベント検出の文脈で体系的に構築するにはどうすればよいか？
• RQ2 言語や音楽といった非イベント的特徴が、イベント検出のパフォーマンスにどの程度影響を及えるか？
• RQ3 イベントタイプの分布とアノテーター間合意度が、イベント検出モデルの信頼性および一般化能力に与える影響は何か？
• RQ4 データ収集プロセスによって生じる主なバイアスは何か、そしてそれらはコーパス設計においてどのように軽減できるか？
• RQ5 本コーパスを基盤として、スケーラブルで協働的な大規模動画アノテーションフレームワーク（例：マルチメディアゲノムプロジェクト）を効果的に立ち上げることは可能か？

主な発見

• YLI-MED v.1.0コーパスには、10種類のターゲットイベントの2,000件のポジティブ動画と48,700件の非イベント動画が含まれており、トレーニングセットとテストセットにバランスよく分割されている。
• イベント分類におけるアノテーター間合意度は中程度から高水準であり、平均的な信頼スコアはアノテーターの信頼性が非常に高いことを示している。
• 編集後の効果、特に音楽や編集処理が、イベント検出の意思決定に顕著に影響を与え、音楽は顕著な交絡要因となった。
• 非英語の発話が、顕著な割合の動画に存在し、イベント分類の結果と相関関係にあった。
• TRECVID MED や HAVIC と比較可能なコーパスではあるが、手順的差異により、直接的なデータセット間比較には制限がある可能性がある。
• 音声、視覚的、動きの特徴バンドルが事前に計算され、公開されたため、下流のイベント検出研究への即時利用が可能となった。