[論文レビュー] How Good is a Video Summary? A New Benchmarking Dataset and Evaluation Framework Towards Realistic Video Summarization

Vishal Kaushal, Suraj Kothawade+3 more|arXiv (Cornell University)|Jan 26, 2021

Video Analysis and Summarization参考文献 44被引用数 5

ひとこと要約

本稿では、6つのカテゴリーにまたがる67本の長時間動画を含む大規模かつ多様なベンチマークデータセットであるVISIOCITYを紹介する。このデータセットには、濃密なコンセプトアノテーションが付与されており、現実的な動画要約研究を可能にする。本稿では、間接的真値から複数のリファレンス要約を自動生成する手法を提案するとともに、多様な要約品質を捉える多指標評価フレームワークを構築した。実験の結果、1つのオラクル要約に依存する訓練よりも、複数の要約を個別に用いた結合損失関数を用いた訓練が、最先端モデルにおいて優れた性能を示した。

ABSTRACT

Automatic video summarization is still an unsolved problem due to several challenges. The currently available datasets either have very short videos or have few long videos of only a particular type. We introduce a new benchmarking video dataset called VISIOCITY (VIdeo SummarIzatiOn based on Continuity, Intent and DiversiTY) which comprises of longer videos across six different categories with dense concept annotations capable of supporting different flavors of video summarization and other vision problems. For long videos, human reference summaries necessary for supervised video summarization techniques are difficult to obtain. We explore strategies to automatically generate multiple reference summaries from indirect ground truth present in VISIOCITY. We show that these summaries are at par with human summaries. We also present a study of different desired characteristics of a good summary and demonstrate how it is normal to have two good summaries with different characteristics. Thus we argue that evaluating a summary against one or more human summaries and using a single measure has its shortcomings. We propose an evaluation framework for better quantitative assessment of summary quality which is closer to human judgment. Lastly, we present insights into how a model can be enhanced to yield better summaries. Sepcifically, when multiple diverse ground truth summaries can exist, learning from them individually and using a combination of loss functions measuring different characteristics is better than learning from a single combined (oracle) ground truth summary using a single loss function. We demonstrate the effectiveness of doing so as compared to some of the representative state of the art techniques tested on VISIOCITY. We release VISIOCITY as a benchmarking dataset and invite researchers to test the effectiveness of their video summarization algorithms on VISIOCITY.

研究の動機と目的

• 現実的な動画要約研究のための、大規模で多様な長時間動画データセットが不足している問題に対処すること。
• 長時間動画における人間のリファレンス要約を取得する課題を克服するため、間接的真値（例：コンセプトアノテーション、イベント境界）から高品質な複数のリファレンス要約を自動生成する手法を提案すること。
• 1つの指標に依存するのではなく、良い要約の多様な特徴を捉えることで、人間の判断をよりよく反映する多指標評価フレームワークを構築すること。
• 複数の多様なリファレンス要約を個別に用いた訓練と、複数の損失関数を組み合わせた手法が、1つのオラクル要約に依存する訓練よりも優れた性能を発揮することを実証すること。
• VISIOCITYを公開ベンチマークとして提供し、動画要約分野の最先端技術を前進させること。

提案手法

• 6つのカテゴリー（例：サッカー、監視、友人、ウェディング、誕生日、テックトーク）にまたがる67本の長時間動画と、濃密なコンセプトレベルのアノテーションを備えた新しいベンチマークデータセットVISIOCITYを提案する。
• 間接的真値（例：コンセプトアノテーション、イベント境界）を用いて、人間の要約を模倣する複数のリファレンス要約を自動生成する戦略を設計する。
• 重要性、多様性（コンセプト、時間、類似性）、およびマクロイベントの連続性の4つの主要な指標を備えた多指標評価フレームワークを開発し、要約品質を包括的に評価する。
• 個々のリファレンス要約をターゲットとして用い、重要性、多様性、連続性などの望ましい特徴を強調する複数の損失関数を組み合わせた訓練手法を適用して動画要約モデルを学習する。
• 提案された評価フレームワークを用いて、VISIOCITY上で単一オラクル訓練と最先端モデル（例：DR-DSN、VASNET、vsLSTM）を比較する。
• VISIOCITYを https://visiocity.github.io/ で公開し、動画要約アルゴリズムの再現性のあるベンチマーク評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 豊富なアノテーションが付与された大規模で多様な長時間動画データセットは、より現実的で一般化可能な動画要約研究を可能にするか？
• RQ2 間接的真値から自動生成された複数のリファレンス要約は、人間がアノテートした要約と同等の品質を達成できるか？
• RQ3 良い動画要約の多面的な性質を捉えるために、1つの評価指標では不十分であり、多指標フレームワークが不可欠であるか？
• RQ4 複数の多様なリファレンス要約と、複数の損失関数の組み合わせを用いた訓練は、1つの統合（オラクル）要約に依存する訓練よりも優れた性能を発揮するか？
• RQ5 最先端モデルは、TVSum や SumMe といった小規模データセットとは対照的に、現実的で大規模なベンチマーク（例：VISIOCITY）においてどのように性能を発揮するか？

主な発見

• VISIOCITYは、6つの多様なカテゴリーにまたがる67本の長時間動画と、濃密なコンセプトアノテーションを備えており、同種のベンチマークの中で最大かつ最も多様である。
• 自動生成されたリファレンス要約は、定性的および定量的分析を通じて、人間の要約と同等の品質であることが検証された。
• 提案された多指標評価フレームワークは、異なるモデルが異なる特徴で優れていることを明らかにした。例えば、vsLSTMはマクロイベントの連続性において他のモデルを上回ったが、DR-DSNは多様性に優れていたが、重要性を考慮した要約では劣っていた。
• 個々のリファレンス要約と、重要性・多様性・連続性の損失関数の組み合わせを用いた訓練は、最高の性能を発揮し、サッカー動画で50.0%のF1、誕生日動画で62.0%、ウェディング動画で51.8%を達成した。これは、すべてのベースラインを上回った。
• DR-DSN（非教師あり手法）は、TVSum や SumMe といった小規模データセットとは対照的に、VISIOCITYでは顕著に性能が低下した。特に、明確な高インパクトイベントを含む動画では顕著で、現実的なベンチマークの必要性を浮き彫りにした。
• 提案されたフレームワークとデータセットにより、より洗練された人間の評価に即した評価が可能となり、2つの要約が焦点、多様性、連続性の観点で異なるが、両方とも同等に優れていることが示された。