[論文レビュー] Query-Aware Sparse Coding for Multi-Video Summarization

Zhong Ji, Yaru Ma+2 more|arXiv (Cornell University)|Jul 13, 2017

Video Analysis and Summarization参考文献 22被引用数 6

ひとこと要約

本稿では、複数の動画要約のための新しい教師なし手法であるQuery-Aware Sparse Coding (QUASC) を提案する。この手法は、スパースコーディングフレームワーク内に、ユーザーの検索クエリに依存する好みの信号としてウェブ検索画像を統合することで、関連性の向上と冗長性の低減を実現する。さらに、マルチグラフ統合を用いたイベントキーフレームプレゼンテーション（EKP）構造を導入し、ユーザーに優しい要約を実現する。本手法は新たに公開された MVS1K データセットにおいて、優れた客観的および主観的性能を達成した。

ABSTRACT

Given the explosive growth of online videos, it is becoming increasingly important to relieve the tedious work of browsing and managing the video content of interest. Video summarization aims at providing such a technique by transforming one or multiple videos into a compact one. However, conventional multi-video summarization methods often fail to produce satisfying results as they ignore the user's search intent. To this end, this paper proposes a novel query-aware approach by formulating the multi-video summarization in a sparse coding framework, where the web images searched by the query are taken as the important preference information to reveal the query intent. To provide a user-friendly summarization, this paper also develops an event-keyframe presentation structure to present keyframes in groups of specific events related to the query by using an unsupervised multi-graph fusion method. We release a new public dataset named MVS1K, which contains about 1, 000 videos from 10 queries and their video tags, manual annotations, and associated web images. Extensive experiments on MVS1K dataset validate our approaches produce superior objective and subjective results against several recently proposed approaches.

研究の動機と目的

• 従来の複数動画要約手法がユーザーの検索意図を捉えきれていないという限界に対処すること。
• ユーザーのクエリに応じて取得されたウェブ画像をスパースコーディングフレームワーク内の好みの信号として統合することで、要約品質の向上を図ること。
• クエリに依存する特徴とスパース表現を活用することで、キーフレーム選定における冗長性と不適切な関連性の低減を図ること。
• 視覚的・意味的・時間的特徴に基づいて、キーフレームを意味的イベントごとにグループ化する非教師付きマルチグラフ統合を用いて、ユーザーに優れた要約表示を実現すること。
• 複数動画要約研究のための大規模な公開ベンチマーク、MVS1K を公開すること。

提案手法

• 候補キーフレームとウェブ画像を基底ベクトルとして用いることで、複数動画要約をスパースコーディング問題として定式化する。
• スパースコーディングの目的関数を用い、動画コンテンツとクエリ関連のウェブ画像の両方を再構成する最小限のキーフレームを選択する。
• 検索クエリの意味的意図に一致するキーフレームを優先するクエリに依存する正則化項を導入する。
• 視覚的・意味的・時間的特徴に基づいて、キーフレームをイベント固有のグループにクラスタリングする非教師付きマルチグラフ統合手法を採用する。
• キーフレームを階層的なイベントクラスタに整理することで、解釈性を向上させるイベントキーフレームプレゼンテーション（EKP）構造を設計する。
• 動画のタグと手動アノテーションを活用してグラフ構築を強化し、イベントの一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパースコーディングフレームワークにウェブ検索画像を統合することで、ユーザーのクエリに対する複数動画要約の関連性が向上するか？
• RQ2 提案手法である QUASC は、従来の学習ベースおよび検索ベースの要約手法と比較して、冗長性と関連性の面で優れているか？
• RQ3 イベントベースのキーフレームプレゼンテーション（EKP）構造は、フラットなキーフレームリストと比較して、ユーザーの理解度と満足度を向上させるか？
• RQ4 提案手法は多様なクエリと動画コンテンツにわたってどれほど一般化可能か？
• RQ5 マルチグラフ統合アプローチは、意味的に整合性のあるイベントにキーフレームをグループ化するのにどれほど効果的か？

主な発見

• QUASC 手法は MVS1K データセットで平均 F1 スコア 51.3 を達成し、クラスタリングベース（46.5）、TVSum（47.3）、MSR（47.0）といったベースライン手法を上回った。
• 主観的ユーザー評価では、83.3% のユーザーが QUASC が生成した要約を他の手法よりも好んだ。平均満足度スコアは 83.3% であり、クラスタリングベースの 81.9% や TVSum の 82.4% よりも高い水準であった。
• EKP プレゼンテーション構造はユーザーの好みを顕著に向上させ、58.3% の投票がフラットなキーフレームリストよりもイベント構造化された表示を支持した。
• 提案された MVS1K データセットには、10 個のクエリにわたる約 1,000 個の動画が含まれており、関連するウェブ画像、タグ、手動アノテーションも付随している。これは、これまでで最大規模の公開された複数動画要約ベンチマークである。
• 視覚的比較により、本手法は意味的および視覚的冗長性の両方を効果的に低減していることが示された。既存手法と比較して、冗長で不適切なキーフレームが減少していた。
• 統計的分析により、参加者間で一貫したユーザーの好みが確認され、信頼性が高く偏りのない評価結果であることが裏付けられた。