[論文レビュー] A Unified Multi-Faceted Video Summarization System

Anurag Sahoo, Vishal Kaushal+4 more|arXiv (Cornell University)|Apr 4, 2017

Video Analysis and Summarization被引用数 6

ひとこと要約

本論文は、サブモジュラー最適化を用いて、キーフレーム、ビデオスティル、エンティティレベルの要約（例：顔、物体、シーン）を含む多面的な要約を生成する統合的でインタラクティブな動画要約システムを提案する。一度の前処理で動画の視覚的特徴を抽出し、数秒で数時間にわたる動画の要約をリアルタイムでオンデマンド生成可能であり、多様性、カバレッジ、表現モデルの観点からスケーラビリティと説明可能性を兼ね備えている。

ABSTRACT

This paper addresses automatic summarization and search in visual data comprising of videos, live streams and image collections in a unified manner. In particular, we propose a framework for multi-faceted summarization which extracts key-frames (image summaries), skims (video summaries) and entity summaries (summarization at the level of entities like objects, scenes, humans and faces in the video). The user can either view these as extractive summarization, or query focused summarization. Our approach first pre-processes the video or image collection once, to extract all important visual features, following which we provide an interactive mechanism to the user to summarize the video based on their choice. We investigate several diversity, coverage and representation models for all these problems, and argue the utility of these different mod- els depending on the application. While most of the prior work on submodular summarization approaches has focused on combining several models and learning weighted mixtures, we focus on the explain-ability of different the diversity, coverage and representation models and their scalability. Most importantly, we also show that we can summarize hours of video data in a few seconds, and our system allows the user to generate summaries of various lengths and types interactively on the fly.

研究の動機と目的

• 人間が処理できる量を超えるほどの大規模なビデオデータ（動画、ライブストリーミング、画像コレクション）を要約するという課題に対処すること。
• 1つのシステム内で抽出的要約、クエリ指向の要約、エンティティベースの要約を統合的に扱うフレームワークを提供すること。
• 長時間の動画（例：数時間）に対して、カスタマイズ可能な要約長さと種別を備えたインタラクティブでリアルタイムの要約を可能にすること。
• 学習による重み付き混合よりも、サブモジュラーモデルの多様性、カバレッジ、表現の観点での説明可能性とスケーラビリティを優先すること。
• 効率的な前処理とオンデマンド要約の実装により、ユーザーの待機時間と計算負荷を低減すること。

提案手法

• 動画または画像コレクションを一度だけ前処理して、視覚的特徴（物体、シーン、顔、色など）を抽出し、永続的な分析データベースを構築する。
• 多様性、カバレッジ、表現を最適化するために、サブモジュラー関数（Disparity Min、Facility Location、Feature-Based）を適用する。
• 抽出的要約（キーフレーム、ビデオスティル）とユーザー定義のクエリを介したクエリ指向要約を両立できる統一された最適化パイプラインを採用する。
• エンティティベースの要約を実装し、物体、シーン、人物、顔の代表的インスタンスを抽出することで、概念レベルの理解を可能にする。
• 前処理段階でGPUアクセceleratedなディープラーニングを活用して特徴抽出を実施し、1つのGPUで2時間の動画を約30分で処理可能である。
• 特徴をキャッシュして、ユーザーの好み（長さ、種別、クエリ）に応じて要約をオンデマンドで再計算することで、インタラクティブな要約を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つのシステムでキーフレーム、ビデオスティル、エンティティ要約といった複数の要約形態を、スケーラブルで説明可能なフレームワーク内で統合できるか？
• RQ2 多様性、カバレッジ、表現の観点で、異なるサブモジュラー関数（Disparity Min、Facility Location、Feature-Based）の相対的な強みとトレードオフは何か？
• RQ3 前処理パイプラインによって、数時間にわたる動画データの低遅延でリアルタイムなオンデマンド要約が可能か？
• RQ4 要約の長さやサイズが変化する状況において、システムはどのようにスケーラビリティとパフォーマンスを維持するか？
• RQ5 抽出的要約、クエリ指向要約、概念ベース要約に対して、システムはどの程度インタラクティブでユーザー主導の要約を可能にするか？

主な発見

• 一度の前処理フェーズを経た後、数秒で数時間にわたる動画データの要約が可能となり、低遅延のインタラクティブ要約を実現した。
• Facility Locationは2時間の動画（7200フレーム）に対して1秒未塔の要約生成を達成し、高いスケーラビリティを示した。
• Disparity Min関数は、ブラックフレームや外れ値といった重要な異常を効果的に捉えることができ、監視用途で有用である。
• Facility Locationはバランスの取れたクラスタ表現を提供し、例として動画内でのフレーム8〜12のグループが欠落するのを防ぐ。
• Feature-Based関数は視覚的コンセプトの均等なカバレッジを確保するが、直接的な多様性制御がないため、重複するフレームが含まれる可能性がある。
• エンティティベースの要約は、代表的な顔、物体、シーンを効果的に同定でき、性能は使用するサブモジュラー関数の選択に依存する。