[論文レビュー] Less is More: Learning Highlight Detection from Video Duration

Bo Xiong, Yannis Kalantidis+2 more|arXiv (Cornell University)|Mar 3, 2019

Video Analysis and Summarization参考文献 40被引用数 5

ひとこと要約

本論文は、1000万本のハッシュタグ付きInstagram動画から得られるノイズの多いラベルに対して頑健な深層ランク付けモデルを学習するため、動画の長さを暗黙の監視信号として用いる教師なし動画ハイライト検出手法を提案する。短い動画がハイライトを含む可能性が高いという仮説に基づき、TVSumおよびYouTube Highlightsベンチマークで最先端の性能を達成し、従来の教師なし手法と比べて顕著な性能向上を実現する。

ABSTRACT

Highlight detection has the potential to significantly ease video browsing, but existing methods often suffer from expensive supervision requirements, where human viewers must manually identify highlights in training videos. We propose a scalable unsupervised solution that exploits video duration as an implicit supervision signal. Our key insight is that video segments from shorter user-generated videos are more likely to be highlights than those from longer videos, since users tend to be more selective about the content when capturing shorter videos. Leveraging this insight, we introduce a novel ranking framework that prefers segments from shorter videos, while properly accounting for the inherent noise in the (unlabeled) training data. We use it to train a highlight detector with 10M hashtagged Instagram videos. In experiments on two challenging public video highlight detection benchmarks, our method substantially improves the state-of-the-art for unsupervised highlight detection.

研究の動機と目的

• 高価な人為的アノテーションに代わる、無料で利用可能な暗黙の信号を用いて、動画ハイライト検出におけるスケーラビリティと監視のボトルネックを解決すること。
• ユーザーがコンテンツをキュレーションする際の選択的行動に起因し、短いユーザー生成動画がハイライトを含む可能性が高いという仮説を活用すること。
• ウェブ規模の動画コレクションから得られる弱教師あり学習データにおけるノイズラベルに対して頑健な深層ランク付けフレームワークを構築すること。
• 手動要約にアクセスできないドメイン固有の教師なしハイライト検出で最先端の性能を達成すること。
• 動画長さが多様な動画ドメインにわたり、ハイライト関連性の代理指標として有効であることを検証すること。

提案手法

• 本手法は、ユーザーのキュレーション行動に起因して短い動画がハイライトを含む可能性が高いと仮定し、動画長さを弱い監視信号として用いる。
• 有効なトレーニングペアを特定するための潜在変数を導入する、新しい深層ランク付けモデルを提案。ノイズの多いペアをフィルタリングすることで、ラベルノイズに対する耐性を向上させる。
• 潜在変数は、動画セグメントペアが有効な正例・負例ペアかどうかを予測するニューラルネットワークでモデル化され、ラベルノイズに対する耐性が向上する。
• 1000万本のハッシュタグ付きInstagram動画を用いて、動画長さとカテゴリータグのみを監視信号として、エンドツーエンドでモデルを学習する。
• ドメイン固有のクエリを用いてトレーニングデータを収集し、TVSumおよびYouTube Highlightsの2つの公開ベンチマークでフレームワークを評価する。
• 対照的ランク付け損失を採用し、ハイライトセグメントに対してより高いスコアを付与するよう最適化する。潜在変数を介したノイズ対応トレーニングにより、より強固な学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 動画長さは、ユーザー生成動画におけるハイライト関連性の信頼性がありスケーラブルな代理指標として機能するか？
• RQ2 大規模かつキュレーションされていないウェブ動画コレクションから学習する際、深層ランク付けモデルをノイズの多い監視信号に対してどのように頑健にするか？
• RQ3 暗黙の信号としての動画長さを活用することで、従来の弱教師ありまたは完全教師あり手法と比較して、教師なしハイライト検出の性能が向上するか？
• RQ4 モデルの性能は、InstagramやYouTube8Mなどの異なる動画ドメインやデータソースにおいてどのように変化するか？
• RQ5 潜在変数メカニズムが、ノイズの多いトレーニングペアをフィルタリングすることで、一般化性能をどの程度向上させるか？

主な発見

• 提案手法は、Instagramデータで学習した場合、YouTube Highlightsベンチマークで最先端の性能を達成し、平均平均精度（mAP）が0.564を記録した。
• TVSumベンチマークでは、mAPが0.564を達成し、従来の教師なし手法（RRAE: 0.416、CLA: 0.416）を大きく上回った。
• Instagramデータで学習したモデルは、YouTube8Mデータで学習したモデルを上回り、YouTube HighlightsでmAPが0.564（Instagram）対0.505（YouTube8M）を記録した。これは、短いInstagram動画に強い長さ信号が存在するためである。
• アブレーションスタディの結果、潜在変数メカニズムが性能向上に寄与していることが確認され、完全モデル（Ours-S）はYouTube HighlightsでmAP 0.564を達成したのに対し、ベースライン（Ranking-EM）は0.458であった。
• 可視化結果から、有効なハイライト・非ハイライトペアに対しては高い潜在値が割り当てられ、無効なペアに対しては低い潜在値が割り当てられていることが示され、効果的なノイズフィルタリングが実現していることが確認された。
• パーカーとドッグショーのような挑戦的なドメインにおいても、mAPがそれぞれ0.670および0.626を記録し、多様なコンテンツにわたる一般化性能が示された。