[論文レビュー] Video Summarization using Deep Semantic Features

Mayu Otani, Yuta Nakashima+3 more|arXiv (Cornell University)|Sep 28, 2016

Video Analysis and Summarization参考文献 28被引用数 28

ひとこと要約

本稿では、動画説明ペアから学習された深層的意味特徴を活用して、コンテンツ表現と要約品質を向上させる動画要約手法を提案する。動画とその説明を共有の意味的空間に埋め込むように、深層ニューラルネットワークを共同で訓練することで、クラスタリングに基づくサンプリングを用いて代表的な動画セグメントを抽出し、平均Fスコア0.183（人間によるアノテーション要約性能の58.8％）を達成した。これはVGGベースのベースラインを上回り、教師あり手法と同等の性能を示した。

ABSTRACT

This paper presents a video summarization technique for an Internet video to provide a quick way to overview its content. This is a challenging problem because finding important or informative parts of the original video requires to understand its content. Furthermore the content of Internet videos is very diverse, ranging from home videos to documentaries, which makes video summarization much more tough as prior knowledge is almost not available. To tackle this problem, we propose to use deep video features that can encode various levels of content semantics, including objects, actions, and scenes, improving the efficiency of standard video summarization techniques. For this, we design a deep neural network that maps videos as well as descriptions to a common semantic space and jointly trained it with associated pairs of videos and descriptions. To generate a video summary, we extract the deep features from each segment of the original video and apply a clustering-based summarization technique to them. We evaluate our video summaries using the SumMe dataset as well as baseline approaches. The results demonstrated the advantages of incorporating our deep semantic features in a video summarization technique.

研究の動機と目的

• 低レベルの視覚的特徴では高レベルの意味を捉えきれないため、最小限の事前知識で多様なインターネット動画を要約する課題に対処すること。
• 物体、行動、シーンなどの多様な意味的コンセプトをエンコードする深層特徴を学習することで、動画要約の品質を向上させること。
• 深層的意味的埋め込みを用いて、意味的に代表的で重複のないセグメントを自動選択する非教師あり動画要約フレームワークを開発すること。
• SumMeデータセット上で、標準的な視覚的特徴と既存の要約ベースラインと比較して、深層的意味特徴の有効性を評価すること。

提案手法

• 動画用と説明用の2つのサブネットワークを備えた深層ニューラルネットワークを、対照的損失を用いて訓練し、両モodalを共有の高次元意味的空間にマップする。
• 大規模な動画説明データセット上で共同訓練することで、ペairedの動画とテキストの説明から、豊富で多層的な意味的表現を学習できるようにする。
• 各動画を固定長のクリップ（5秒）に分割し、訓練済みネットワークを用いて各セグメントから深層的意味特徴を抽出する。
• 深層特徴にクラスタリングベースの要約技術を適用し、クラスタ中心に対応するセグメントを選択することで、意味的代表性を確保するとともに冗長性を低減する。
• 選択されたセグメントを時間的順に連結して、最終的な動画要約を構築する。
• 目的関数は、選択されたセグメントとそのクラスタ中心との距離を最小化するとともに、クラスタ間の分離度を最大化することで、代表性と冗長性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 動画説明ペアから学習された深層的意味特徴は、従来の低レベル視覚的特徴と比較して、動画要約性能を向上させるか？
• RQ2 深層的意味的埋め込みを用いた非教師ありクラスタリングベースの手法は、要約のための代表的動画セグメントの選択においてどの程度有効か？
• RQ3 提案された深層特徴は、ホーム動画やドキュメンタリーを含む多様なインターネット動画コンテンツにどの程度一般化可能か？
• RQ4 提案手法の性能は、人間によるアノテーション要約と、既存の最先端ベースラインと比較して、SumMeデータセット上でどの程度か？

主な発見

• 提案手法はSumMeデータセット上で平均Fスコア0.183を達成し、手作業で作成された動画要約の平均性能の58.8％を占めた。
• VGGベースのベースライン（平均Fスコア0.127）を上回ったことから、標準的な視覚的特徴よりも深層的意味特徴の優位性が示された。
• 非教師ありであり、シンプルなサンプリング戦略を用いても、アテンションベースの手法を上回り、特定の動画では一部の人間アノテーション要約と同等またはそれを上回る性能を示した。
• 固定5秒のサンプリングによるセグメント数の制限のため、短い動画（例："Jumps"、"Fire Domino"）では性能が劣化し、Fスコアが低くなった。
• 非常に冗長な動画（例："Car over Camera"）や複雑なコンテンツを含む動画（例："Notre Dame"）では、意味的に重要でない静止シーンが意味的空間内で密なクラスタを形成し、性能低下が観察された。
• 長時間にわたり意味的価値のないセグメントが続く動画（例："St Maarten Landing"）では、非教師あり性のため、意味的に重要でないコンテンツをフィルタリングできず、困難をきたした。