[論文レビュー] Summary Transfer: Exemplar-based Subset Selection for Video Summarization

Ke Zhang, Wei‐Lun Chao+2 more|arXiv (Cornell University)|Mar 10, 2016

Video Analysis and Summarization参考文献 38被引用数 38

ひとこと要約

本論文では、カーネルベースの類似度と行列式点過程（DPP）を用いて、人間がアノテートしたトレーニング動画の要約構造を未学習のテスト動画に非パrametricかつ例示ベースで転送する動画要約手法を提案する。文脈的カテゴリの事前知識とサブショットレベルの類似度を組み込むことで、YouTube、MED、SumMeといったベンチマークデータセットで既存手法を上回る性能を達成する。

ABSTRACT

Video summarization has unprecedented importance to help us digest, browse, and search today's ever-growing video collections. We propose a novel subset selection technique that leverages supervision in the form of human-created summaries to perform automatic keyframe-based video summarization. The main idea is to nonparametrically transfer summary structures from annotated videos to unseen test videos. We show how to extend our method to exploit semantic side information about the video's category/genre to guide the transfer process by those training videos semantically consistent with the test input. We also show how to generalize our method to subshot-based summarization, which not only reduces computational costs but also provides more flexible ways of defining visual similarity across subshots spanning several frames. We conduct extensive evaluation on several benchmarks and demonstrate promising results, outperforming existing methods in several settings.

研究の動機と目的

• 組み合わせ的に巨大な出力空間と、人間の要約から得られるグローバル基準の欠如という自動動画要約の課題に対処すること。
• 複雑なパrametricモデルを必要とせず、アノテート済みトレーニング動画の要約構造を未アノテートのテスト動画に転送する非パrametricな学習アプローチを開発すること。
• 動画カテゴリなどの意味的側情報を取り入れることで、構造転送の質を向上させること。
• 計算コストの低減とより頑健な類似度測定を実現するため、サブショットベースの要約に拡張すること。
• フレームレベルの類似度がサブショットレベルの表現によって向上し、この文脈では浅い特徴量が深い特徴量を上回ることを示すこと。

提案手法

• 本手法は、テスト動画とトレーニング動画のフレームレベル視覚的類似度を用いて、類似したコンテンツと要約構造を持つ例示動画を特定する。
• 各トレーニング動画のフレーム間のバイナリ化されたペアワイズ類似度を用いて、要約構造をカーネル行列として符号化する。
• テスト動画固有のカーネル行列を、テスト動画とトレーニング動画間のクロス類似度を組み合わせることで構築し、転送可能な要約構造カーネルを形成する。
• 最終的な要約は、転送カーネルに行列式点過程（DPP）を適用することで復号され、グローバルに最適で多様かつ代表的なフレーム選択が保証される。
• 意味的カテゴリの事前知識を用いて類似度を重み付けし、意味的に整合性のあるカテゴリからのトレーニング動画を優先することで、カテゴリ対応の転送を可能にする。
• サブショットレベルでの類似度を計算することでサブショットベース要約に拡張し、代表的なサブショットを選択してその中央フレームをキーフレームとして抽出する。

実験結果

リサーチクエスチョン

• RQ1 人間がアノテートした動画からの要約構造の非パrametric的転送は、自動キーフレームベースの動画要約を改善できるか？
• RQ2 意味的カテゴリ情報の組み込みが、転送された要約構造の品質と頑健性に与える影響は何か？
• RQ3 フレームレベルの類似度と比較して、サブショットレベルの類似度測定はより良い要約性能をもたらすか？
• RQ4 トレーニングデータからカテゴリ事前知識を学習することで、カテゴリが不明なテスト動画に対しても一般化可能か？
• RQ5 この例示ベースの転送フレームワークにおいて、浅い特徴量と深い特徴量の相対的寄与度は何か？

主な発見

• 提案手法はベンチマークデータセットで9つの既存手法を上回り、カテゴリ対応のソフトウェートを用いることで、YouTubeで平均Fスコア61.5、MEDで30.7、SumMeで40.2を達成した。
• サブショットベース要約によりキーフレーム選択が向上し、カテゴリ事前知識を用いることでYouTubeのFスコアが60.0から61.8に上昇した。これはより頑健な類似度測定を示している。
• テスト動画の真のカテゴリが不明であっても、カテゴリ事前知識を用いることで性能が向上し、SumMeではソフトカテゴリ重み付けによりFスコアが1.7ポイント向上した。
• 本手法は深層特徴量に依存せず、この転送ベースの設定では浅い特徴量が深い特徴量と同等またはそれ以上の性能を発揮した。
• 図2の失敗事例は限界を示している：トレーニング例示が意味的に不一致（例：ビーチ vs. ネイチャー）の場合、視覚的類似度にのみ依存するため、関連フレームを逃す可能性がある。
• カーネル結合とDPP復号による構造転送が、エンドツーエンドの訓練を必要とせずに、グローバルに最適で多様かつ代表的な要約を生成できることを示した。