[論文レビュー] Semantic Video Trailers

Harrie Oosterhuis, Sujith Ravi+1 more|arXiv (Cornell University)|Sep 7, 2016

Video Analysis and Summarization参考文献 24被引用数 7

ひとこと要約

本論文では、意味的埋め込みと視覚的目立つ特徴を組み合わせることで、意味的に整合的で視覚的に魅力的なトレーラーを生成する、教師なしのグラフベースの手法を提案する。事前学習されたエンティティ埋め込みとフレーム類似性グラフ上のラベル伝播を活用することで、人間による評価によって裏付けられた結果、関連性と視覚的品質の両面でベースラインを上回った。

ABSTRACT

Query-based video summarization is the task of creating a brief visual trailer, which captures the parts of the video (or a collection of videos) that are most relevant to the user-issued query. In this paper, we propose an unsupervised label propagation approach for this task. Our approach effectively captures the multimodal semantics of queries and videos using state-of-the-art deep neural networks and creates a summary that is both semantically coherent and visually attractive. We describe the theoretical framework of our graph-based approach and empirically evaluate its effectiveness in creating relevant and attractive trailers. Finally, we showcase example video trailers generated by our system.

研究の動機と目的

• ユーザーのクエリに応じた意味的に関連性があり、視覚的に魅力的な動画トレーラーを作成する課題に対処すること。
• YouTubeのような膨大な動画コンテンツを有するプラットフォームにおける動画発見可能性を向上させること。
• クエリ固有のアノテーションを必要とせず、スケーラブルな教師なし手法を構築すること。
• 文脈的に関連性があり、視覚的に整合性のある動画要約を生成し、人間が編集したトレーラーに類似させる。

提案手法

• 本手法は、非動画コーパスからの事前学習済みエンティティ埋め込みを用いて、クエリと動画フレーム間の意味的類似度を計算する。
• ノードが動画フレームを表し、エッジが視覚的および意味的類似度に基づくグラフを構築する。
• ラベル伝播をグラフに適用し、意味的に関連性があり、視覚的に目立つフレームを特定する。
• 伝播スコアが高いフレームを選択して、連続的で視覚的に滑らかな要約トレーラーを形成する。
• 本手法は教師なしであり、ラベル付き動画要約の学習を必要としない。
• 統一されたフレームワーク内で、意味的関連性（埋め込みを介して）と視覚的顕著性（クラスタリングおよびグラフ伝播を介して）を統合する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのアプローチは、意味的および視覚的信号を効果的に統合して、クエリ関連の動画要約を生成できるか？
• RQ2 エンティティ埋め込みと視覚的目立つ特徴の統合は、均一なベースラインや意味的のみのベースラインと比較して、要約品質をどの程度向上させるか？
• RQ3 グラフベースの手法は、生成されたトレーラーの視覚的魅力と整合性をどの程度向上させるか？
• RQ4 カテゴリ固有のトレーニングなしで、多様な動画カテゴリに一般化できるか？

主な発見

• グラフベースの手法は、均一なベースラインに対して11.16%の視覚的品質スコアの向上を達成し、平均スコアは5段階中3.94であった。
• 意味的モデルは、均一なベースラインと比較して2.72%の関連性スコアの向上を示し、平均関連性スコアは5段階中4.27であった。
• グラフベースの要約は、均一モデルおよび意味的のみモデルよりも顕著に視覚的に魅力的であると評価され、視覚的目立つ特徴の価値が示された。
• 直接的なクエリアノテーションがなくても、システムは意味的に関連するフレームを正しく特定でき、意味的マッチングの堅牢性を示した。
• 例示された要約では、グラフベースの手法が多様性（例：隠れミスリードのカエル）と視覚的興味（例：外部からの車両ショット）を向上させ、全体的な魅力を高めた。
• 人間による評価により、平均スコアの差がわずかであっても、グラフベースのモデルが両方の指標でベースラインを上回っていることが確認された。