[論文レビュー] TRECVID 2020: A comprehensive campaign for evaluating video retrieval tasks across multiple application domains

George Awad, Asad A. Butt+15 more|arXiv (Cornell University)|Apr 27, 2021

Multimodal Machine Learning Applications参考文献 20被引用数 17

ひとこと要約

TRECVID 2020 は、6つのタスクを含む、複数の分野にわたる動画検索の包括的評価キャンペーンを実施した。新たに2つのタスクを追加した。すなわち、動画要約作成と災害現場の記述およびインデクシングである。キャンペーンでは、Vimeo V3C1、BBC EastEnders、VIRAT、ネパール地震映像など多様なデータセットが使用され、MAP、MT、DA などの指標を用いた人間と自動評価が実施された。動画要約作成は初めての年であり、12のチームが参加し、最終的に2つのチームが詳細なアプローチを提出した。

ABSTRACT

The TREC Video Retrieval Evaluation (TRECVID) is a TREC-style video analysis and retrieval evaluation with the goal of promoting progress in research and development of content-based exploitation and retrieval of information from digital video via open, metrics-based evaluation. Over the last twenty years this effort has yielded a better understanding of how systems can effectively accomplish such processing and how one can reliably benchmark their performance. TRECVID has been funded by NIST (National Institute of Standards and Technology) and other US government agencies. In addition, many organizations and individuals worldwide contribute significant time and effort. TRECVID 2020 represented a continuation of four tasks and the addition of two new tasks. In total, 29 teams from various research organizations worldwide completed one or more of the following six tasks: 1. Ad-hoc Video Search (AVS), 2. Instance Search (INS), 3. Disaster Scene Description and Indexing (DSDI), 4. Video to Text Description (VTT), 5. Activities in Extended Video (ActEV), 6. Video Summarization (VSUM). This paper is an introduction to the evaluation framework, tasks, data, and measures used in the evaluation campaign.

研究の動機と目的

• 複数の実世界の応用分野におけるコンテンツベースの動画検索および分析の進展を図ること。
• アドホック検索、インスタンス検索、動画要約作成、長時間の動画における行動認識の分野で、システムの評価を実施すること。
• 災害現場の記述およびインデクシングや動画要約作成などの新規タスクを導入し、評価すること。
• 動画検索システムの信頼性あるベンチマーク評価を可能にするため、標準化されたデータセットと評価プロトコルを提供すること。
• 人間と自動スコアリングを組み合わせたオープンかつ指標に基づく評価を通じて、研究の進展を支援すること。

提案手法

• アドホック動画検索およびインスタンス検索のため、Vimeo Creative Commons V3C1 データセット（100万ショット、約1000時間）を活用した。
• インスタンス検索および動画要約作成タスクのため、BBC EastEnders 動画（464時間）を用い、ショットレベルのセグメンテーションおよび MTCNN と FaceNet を用いた顔認識を実施した。
• アクティビティインクリメンタルビデオ（ActEV）のため、VIRAT データセット（10時間）を活用した。Kitware, Inc. が参照アノテーションを用いてアノテートした。
• VTT のため、V3C2 から抽出した1700本の動画サブセットを用い、人間によるアノテーションと MT メトリクスおよび直接評価（DA）による自動スコアリングを実施した。
• 2015年ネパール地震の公的災害映像を5時間分用いて、災害現場の記述およびインデクシングタスクを導入した。
• ハイブリッド評価を実装した：AVS、INS、VSUM、DSDI については人間の評価者、VTT および ActEV については MAP、MT、DA による自動スコアリングを実施した。

実験結果

リサーチクエスチョン

• RQ1 多様で現実世界の動画アプリケーションにおいて、システムはどのように関連する動画コンテンツを効果的に検索できるか？
• RQ2 長時間のナラティブ動画において、主要な人生の出来事の特定に直面する主な課題は何か？
• RQ3 自動および人間による評価を用いて、短いクリップから正確で包括的な動画記述を生成できるか、その性能はどの程度か？
• RQ4 動画分析システムは、構造のない現実世界の災害映像において、イベントをどの程度検出・インデクシングできるか？
• RQ5 人間評価と自動評価の両方の評価手法は、動画検索および記述タスクのスコアリングにおいて、どのように比較されるか？

主な発見

• 動画要約作成タスクは初めて導入されたが、12のチームが参加し、最終的に2つのチームが最終的な実行結果を提出した。
• 2つの最終チームは、顔認識スコアと自己注意メカニズム（例：VASNet）を組み合わせて、ショットの重要度を要約作成に用いた。
• 人間の評価者により、アドホック動画検索、インスタンス検索、動画要約作成が評価された。一方、動画対テキストおよび災害現場タスクには、MAP、MT、DA による自動メトリクスが使用された。
• ActEV タスクでは、Kitware, Inc. が提供した参照アノテーションが使用され、標準的な評価プロトコルに従ってスコアリングされた。
• DSDI タスクでは、2015年ネパール地震の5時間分のデータセットが使用され、平均平均精度（MAP）を用いてスコアリングされた。
• データへのアクセス遅延が、特に新規の動画要約作成タスクにおいて参加に悪影響を及えた可能性がある。