[論文レビュー] Unsupervised Object-Level Video Summarization with Online Motion Auto-Encoder

Yujia Zhang, Xiaodan Liang+3 more|arXiv (Cornell University)|Jan 2, 2018

Video Analysis and Summarization参考文献 7被引用数 6

ひとこと要約

本論文は、ビデオストリームからキーモーションクリップを特定するオブジェクトレベルのビデオ要約のための非教師ありオンラインモーションオートエンコーダ（オンラインモーション-AE）を提案する。スタックドスパースLSTMオートエンコーダを用いて時系列的モーションパターンを学習し、再構成損失を要約スコアとして用いることで、細分化済みおよびフレームレベルのビデオ要約の両タスクで最先端の性能を達成した。新規および公開データセットを用いた検証により、その有効性が裏付けられた。

ABSTRACT

Unsupervised video summarization plays an important role on digesting, browsing, and searching the ever-growing videos every day, and the underlying fine-grained semantic and motion information (i.e., objects of interest and their key motions) in online videos has been barely touched. In this paper, we investigate a pioneer research direction towards the fine-grained unsupervised object-level video summarization. It can be distinguished from existing pipelines in two aspects: extracting key motions of participated objects, and learning to summarize in an unsupervised and online manner. To achieve this goal, we propose a novel online motion Auto-Encoder (online motion-AE) framework that functions on the super-segmented object motion clips. Comprehensive experiments on a newly-collected surveillance dataset and public datasets have demonstrated the effectiveness of our proposed method.

研究の動機と目的

• 代表的なオブジェクトとそのキーモーションを捉える、細分化された非教師ありビデオ要約の不足を補う。
• 増加するビデオストリームのリアルタイム処理に適した、オンラインでスケーラブルなビデオ要約を可能にする。
• 教師なしで、モーション特徴を同時に学習するとともに、顕著なオブジェクトモーションクリップを特定する手法を開発する。
• 監視シーンにおけるオブジェクトレベルのビデオ要約を評価するためのベンチマークデータセットを提供する。

提案手法

• 動きの手がかりに基づくスーパーセグメンテーションを用いて、オンラインで逐次的にビデオシーケンスを処理し、オブジェクトモーションクリップを抽出する。
• オブジェクトモーションクリップからの時系列的モーション表現を学習するため、スタックドスパースLSTMオートエンコーダを適用する。
• オートエンコーダからの再構成誤差を、キーモーションクリップを特定する要約スコアの代理として用いる。
• リアルタイムで新しいクリップを継続的に更新することで、動的モーションパターン記憶を模倣するオンライン辞書学習を実現する。
• キーモーションクリップをフレーム単位の要約に集約することで、フレームレベル要約への拡張を図る。
• オートエンコーダに入力する前に、事前学習済みのResNet152特徴量を用いてモーション表現を抽出する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありでオンラインな手法が、ビデオ内の最も顕著な出来事に対応するキーモーションクリップを効果的に特定できるか？
• RQ2 提案されたオンラインモーション-AEモデルは、監視およびアクション動画を含む多様なビデオドメインにどの程度一般化するか？
• RQ3 キーモーションオブジェクトがフレームレベルのビデオ要約性能にどの程度寄与するか？
• RQ4 深層オートエンコーダの再構成誤差は、信頼性のある自己教師信号として、ビデオ要約に適しているか？

主な発見

• 提案手法のオンラインモーション-AEは、フレームレベルのビデオ要約において、SumMeおよびTVSumデータセットの両方で既存の非教師ありベースラインを上回った。
• 新たに収集したOrangeVille監視データセットでは、主観的評価スコアが優れており、15名の被験者による評価でも一貫性のある結果が得られた。
• フレームレベルのデータセットでは、細分化タスクと比較して、提案手法とベースラインとの性能差が小さいことから、オブジェクトモーションが要約の関連性の主要要因であることが示唆された。
• ユーザー研究において、競合モデルと比較して、本手法は高いロバスト性と一貫性を示し、人間評価スコアの分散が小さかった。
• スタックドスパースLSTMオートエンコーダは、情報を含む時系列的モーションパターンを効果的に捉えており、キーモーションクリップの正確な特定を可能にした。
• オートエンコーダからの再構成損失は、教師なしの要約スコアの代理として信頼性があり、教師なしでエンドツーエンドの学習が可能であることを示した。