[論文レビュー] VideoSET: Video Summary Evaluation through Text

Serena Yeung, Alireza Fathi+1 more|arXiv (Cornell University)|Jun 23, 2014

Video Analysis and Summarization参考文献 18被引用数 42

ひとこと要約

VideoSETは、自然言語処理（NLP）指標を用いて生成されたテキスト表現と人間が作成した正解要約を比較することで、動画要約が意味的コンテンツをどの程度保持しているかを測定するテキストベースの評価フレームワークです。人間の判断と61.0％の一致を示し、ピクセルベースの手法よりも顕著に高い水準に達しており、動画要約研究における自動的で再現可能かつ意味的根拠に基づいた評価基準を提供します。

ABSTRACT

In this paper we present VideoSET, a method for Video Summary Evaluation through Text that can evaluate how well a video summary is able to retain the semantic information contained in its original video. We observe that semantics is most easily expressed in words, and develop a text-based approach for the evaluation. Given a video summary, a text representation of the video summary is first generated, and an NLP-based metric is then used to measure its semantic distance to ground-truth text summaries written by humans. We show that our technique has higher agreement with human judgment than pixel-based distance metrics. We also release text annotations and ground-truth text summaries for a number of publicly available video datasets, for use by the computer vision community.

研究の動機と目的

• 動画要約の分野において、標準的で自動的かつ再現可能である評価手法の欠如に対処する。
• 視覚的特徴に依存するピクセルベースの指標では意味的類似性を捉えきれないという限界を克服する。
• 動画要約の意味的忠実度を評価する際に、人間の判断と強く相関するフレームワークを開発する。
• 人間の関与なしに、動画データセット全体で効率的かつスケーラブルに再現可能な評価を可能にする。
• コミュニティ全体のベンチマークと手法比較を支援するため、テキストアノテーションと正解要約を公開する。

提案手法

• 既存の動画レベルのテキストアノテーションを用いて、動画要約のテキスト表現を生成する。
• 生成された要約テキストと人間が作成した正解要約との間の意味的類似度を、NLPベースのコンテンツ類似度指標で測定する。
• 自然言語処理技術を用いて意味的距離を計算し、視覚的特徴よりも意味の言語的表現を優先する。
• ペア比較の要約評価において、VideoSETスコアと人間の判断を比較することで、性能を評価する。
• 全要約およびサブショットレベルの比較において、VideoSETの結果とピクセルベースの距離指標を比較する。
• 人間による評価を1,200件のサブショット比較で実施し、異なる判断タイプにおける人間の認識との一致を検証する。

実験結果

リサーチクエスチョン

• RQ1 テキストベースの評価手法は、動画要約評価においてピクセルベースの視覚的距離指標よりも人間の判断との一致度を高めることができるか？
• RQ2 動画要約のテキスト表現は、元の動画の意味的コンテンツをどの程度反映しているか？
• RQ3 提案手法は、人間の認識と比較して、意味的に類似したサブショットと類似しないサブショットをどれほど正しく区別できるか？
• RQ4 人間によるアノテーションなしに、多様な動画データセットにわたって、このフレームワークを信頼性高く自動的に適用できるか？
• RQ5 人間が作成した正解要約を参照として使用することで、自動スコアと人間の判断との整合性が向上するか？

主な発見

• 2分間の要約2つから、正解要約に意味的に近い方を選び取るというタスクにおいて、VideoSETは人間の判断と61.0％の一致を示し、ピクセルベースの指標（52.5％）を上回りました。
• サブショットレベルの比較では、意味的類似度が不均一であると判断され、ピクセルベースの指標と食い違う状況において、VideoSETは人間の判断と8.8％の一致を示しました。これに対してピクセルベース手法は25.8％にとどまりました。
• VideoSETとピクセルベース指標が同じサブショットをより類似していると判断した場合、VideoSETは人間の判断と91.5％の一致を示しました。これに対してピクセルベース手法は53.6％にとどまりました。
• VideoSETは、意味的に類似度がゼロのペアを65.1％の確率で正しく特定し、人間の認識（77.3％）とよく一致しており、意味的無関係性の検出において強い一貫性を示しました。
• 図6の例示的例では、VideoSETとピクセルベース指標が意味的類似性について意見が食い違うことがあり、VideoSETは常に人間の選択と整合していました。
• このフレームワークにより、自動的でスケーラブルかつ再現可能な評価が可能となり、高コストで一貫性に欠けるユーザースタディーの代替手段として実用的です。