[論文レビュー] Rethinking the Evaluation of Video Summaries

Mayu Otani, Yuta Nakashima+2 more|arXiv (Cornell University)|Mar 27, 2019

Video Analysis and Summarization参考文献 27被引用数 12

ひとこと要約

この論文は、基準要約とのF1スコアを用いた標準的な動画要約評価の妥当性に疑問を呈し、セグメンテーションバイアスのため、ランダムな要約が最先端手法を上回ることが多いことを明らかにした。本稿では、人的アノテーションとの相関に基づく重要度スコア順序の評価を提案するとともに、モデル性能をより信頼性高く評価するための可視化手法を導入した。

ABSTRACT

Video summarization is a technique to create a short skim of the original video while preserving the main stories/content. There exists a substantial interest in automatizing this process due to the rapid growth of the available material. The recent progress has been facilitated by public benchmark datasets, which enable easy and fair comparison of methods. Currently the established evaluation protocol is to compare the generated summary with respect to a set of reference summaries provided by the dataset. In this paper, we will provide in-depth assessment of this pipeline using two popular benchmark datasets. Surprisingly, we observe that randomly generated summaries achieve comparable or better performance to the state-of-the-art. In some cases, the random summaries outperform even the human generated summaries in leave-one-out experiments. Moreover, it turns out that the video segmentation, which is often considered as a fixed pre-processing method, has the most significant impact on the performance measure. Based on our observations, we propose alternative approaches for assessing the importance scores as well as an intuitive visualization of correlation between the estimated scoring and human annotations.

研究の動機と目的

• 動画要約ベンチマークで広く用いられているF1スコア評価フレームワークの妥当性を検証すること。
• 最先端手法が重要度スコア予測に問題があるにもかかわらず、高水準のF1スコアを達成する理由を調査すること。
• F1スコアに影響を与える主な要因、特に動画セグメンテーションとセグメント長分布を同定すること。
• 予測された重要度スコアと人的アノテーションとの間の相関に基づく、新たな評価パラダイムを提案すること。
• モデルが予測した重要度スコア順序と人的アノテーションを比較するための直感的な可視化手法を導入すること。

提案手法

• ランダムな重要度スコアとランダムな動画セグメンテーションを用いて要約を生成することで、ランダマイゼーションテストを実施する。
• ランダムな要約に対して標準的なF1評価プロトコルを適用し、ベースラインのパフォーマンス水準を確立する。
• 特にセグメント長分布に注目し、動画セグメンテーションがF1スコアに与える影響を分析する。
• 予測された順序と人的アノテーションの順序との間の相関を測るため、ケンダールのtauや類似の相関指標を用いて重要度スコア順序の評価を提案する。
• 予測された重要度スコア順序と人的アノテーションとの相関を、さまざまな分位点で可視化するための累積スコア曲線を導入する。
• リーブ・ワン・アウト的人的アノテーション戦略を用いて基準相関曲線を計算し、それらをモデル予測と比較する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな要約が、最先端の動画要約手法と同等またはそれ以上のF1スコアを達成する程度はどの程度か？
• RQ2 特にセグメント長分布に注目した場合、動画セグメンテーションプロセスが最終的なF1スコアにどの程度影響を与えるか？
• RQ3 現在のベンチマークにおいて、高度なモデルが生成する重要度スコアが、最終的な要約パフォーマンスにほとんど影響を与えないのはなぜか？
• RQ4 予測された重要度スコア順序と人的アノテーションとの相関が、最終要約のF1スコアよりも信頼性の高い評価指標として機能できるか？
• RQ5 可視化は、人的アノテーションとの相対的な重要度スコア予測の質を効果的に示すことができるか？

主な発見

• ランダムな重要度スコアを用いて生成されたランダム要約が、SumMeおよびTVSumベンチマークで最先端手法と同等、あるいはそれ以上のF1スコアを達成した。
• リーブ・ワン・アウト評価において、ランダム要約が人間が生成した要約を上回ることがあり、評価プロトコルに根本的な欠陥があることを示唆している。
• F1スコアは、主に動画セグメント長の分布に依存しており、重要度スコア予測の質とはほとんど関係がない。
• 評価におけるサブセット選択プロセスは、重要度スコアの差異を無視しているため、スコアは最終パフォーマンスに対してほとんど意味を持たない。
• 相関に基づく評価、特に累積スコア曲線を用いた評価は、重要度スコアの質をより的確かつ信頼性高く評価する手がかりを提供する。
• 相関曲線の可視化により、一貫性のないアノテーター（例：合意とは逆順にセグメントをラベル付けする者）の存在が明確に明らかになった。