[論文レビュー] TRECVID 2019: An Evaluation Campaign to Benchmark Video Activity Detection, Video Captioning and Matching, and Video Search & Retrieval

George Awad, Butt, Asad A.+12 more|arXiv (Cornell University)|Nov 12, 2019

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文は、VimeoのV3C、BBC EastEnders、VIRATを含む多様なデータセットを用いて、動画アクティビティ検出、動画キャプション作成、動画検索/リトリーブをベンチマークするTRECVID 2019評価キャンペーンを提示する。すべてのタスクで性能が向上しており、特に動画からテキストへのマッチングで平均逆順位スコアが2018年の0.516から0.727に上昇した。これは、データセットの差異にもかかわらず、動画キャプション作成およびリトリーブシステムにおける進歩を示している。

ABSTRACT

International audience

研究の動機と目的

• コンテンツベースの動画リトリーブおよび分析におけるシステムの評価とベンチマーク化。
• 標準化されたデータセットとメトリクスを用いて、動画キャプション作成、アクティビティ検出、動画検索分野における研究の前進。
• オープンでメトリクスに基づく評価を通じて、動画理解分野の進展を支援。
• 国際的な研究チームが動画分析システムをテストおよび比較できるプラットフォームを提供。
• 反復的な評価とフィードバックを通じて、システム性能の向上を図る。

提案手法

• 4つのタスクを評価：アドホック動画検索（AVS）、インスタンス検索（INS）、拡張動画内アクティビティ（ActEV）、動画からテキストへの記述（VTT）。
• ほとんどのタスクで、クリエイティブ・コモンズ・ライセンス下のVimeoのV3Cデータセット（100万ショット、約1000時間）を用いた。
• インスタンス検索にはBBC EastEnders（464時間）、ActEVにはVIRAT（10時間）を用いた。
• AVSおよびINSには人間のアセッサーを、VTTの記述スコアにはMechanical Turkを用いた。
• ActEVのスコアはKitware, Inc.のリファレンスアノテーションを用いて算出した。
• 自動VTT評価にはMTメトリクスと直接的評価（DA）を適用した。

実験結果

リサーチクエスチョン

• RQ1 拡張動画シーケンスにおける人間のアクティビティ検出に、現在のシステムはどの程度効果的に機能するか？
• RQ2 短い動画クリップに対して正確で記述的なキャプションを生成する分野における最新の技術水準は何か？
• RQ3 テキストクエリに基づいて特定の動画コンテンツを効果的にリトリーブできるシステムはどれほど効果的か？
• RQ4 システムの改善は、異なる動画データセットやタスク間でどの程度伝達されるか？
• RQ5 異なるトレーニング戦略は、動画キャプション作成およびリトリーブにおける性能にどのように影響するか？

主な発見

• VTTのマッチングおよびランク付けサブタスクにおける平均逆順位スコアが、2018年の0.516から2019年には0.727に上昇し、リトリーブ性能の向上を示している。
• RUC_AIM3は、動画からテキストへのマッチングおよびランク付けサブタスクで、他のすべてのシステムを上回った。
• キャプション生成におけるシステム性能が向上し、記述内容と動画コンテンツとの整合性が高まった。
• Vimeo V3C、Flickr、Vineといった多様なデータセットの使用により、キャプション生成システムの評価範囲が広がった。
• データセットの差異にもかかわらず、性能向上は、単なるデータ固有の最適化ではなく、実際のシステム改善を示している。
• 多くのシステムは、明確で一意なアクティビティやオブジェクトを含む動画では良好に動作したが、曖昧または一般的な視覚的コンテンツでは困難をきたした。