[論文レビュー] Co-Regularized Deep Representations for Video Summarization

Olivier Morère, Hanlin Goh+3 more|arXiv (Cornell University)|Jan 30, 2015

Video Analysis and Summarization参考文献 21被引用数 5

ひとこと要約

本論文では、深層畳み込みニューラルネットワーク（DCNN）と制限ボルツマンマシン（RBM）を組み合わせた共正則化された深層学習フレームワークを提案し、コンパクトで情報が多く、視覚的に魅力的なキーフレームベースの動画要約を生成する。共正則化されたRBMを用いて、被写体とシーンの関連性を同時に学習することで、ユーザー評価において均一サンプリング、k-meansクラスタリング、Dailymotionのプロダクションアルゴリズムを上回り、特に小規模な要約（K=4–8）において、魅力性で最大97.73%、情報性で最大94.32%の好まれる割合を示した。

ABSTRACT

Compact keyframe-based video summaries are a popular way of generating viewership on video sharing platforms. Yet, creating relevant and compelling summaries for arbitrarily long videos with a small number of keyframes is a challenging task. We propose a comprehensive keyframe-based summarization framework combining deep convolutional neural networks and restricted Boltzmann machines. An original co-regularization scheme is used to discover meaningful subject-scene associations. The resulting multimodal representations are then used to select highly-relevant keyframes. A comprehensive user study is conducted comparing our proposed method to a variety of schemes, including the summarization currently in use by one of the most popular video sharing websites. The results show that our method consistently outperforms the baseline schemes for any given amount of keyframes both in terms of attractiveness and informativeness. The lead is even more significant for smaller summaries.

研究の動機と目的

• 長時間の動画に対して、コンパクトで多様性があり、代表的なキーフレームベースの動画要約を生成する課題に対処すること。
• マルチモーダルな深層表現を用いて、高レベルの被写体-シーン関連性を学習することで、動画要約の質を向上させること。
• 動画フレーム内の被写体とシーンの間の連携表現学習を強化する共正則化スキームを開発すること。
• 実世界のベースライン、特にDailymotionのプロダクションアルゴリズムを含め、包括的なユーザー評価を通じて本手法の実証的評価を行うこと。
• 提案手法が、特にキーフレーム数が少ない場合に、従来手法よりも魅力的で情報豊富な要約を生成することを示すこと。

提案手法

• 本手法は、1秒ごとの間隔で動画フレームから特徴量を抽出するために、事前学習済みの2つのDCNN（被写体認識にVGG-ILSVRC-2014-D、シーン認識にPlaces-CNN）を用いる。
• 被写体用とシーン用の2つの制限ボルツマンマシン（RBM）を並列に訓練し、被写体とシーンの表現同士の整合性を保つために共正則化を適用する。
• 共正則化は、被写体RBMとシーンRBMの隠れユニット活性化のずれをペナルティ化することで、意味のある被写体-シーン関連性を学習するようモデルを促進する。
• フレームレベルの特徴量は、2つの共正則化されたRBM出力の線形結合として生成され、コンパクトなマルチモーダル表現を形成する。
• キーフレームは、学習された連携表現との類似度に基づいて選択され、多様性と関連性が保証される。
• 本フレームワークは、11本の「Planet Earth」エピソードを対象に、均一サンプリング、k-meansクラスタリング、Dailymotionのプロダクションアルゴリズムと比較するユーザー評価を通じて評価された。

実験結果

リサーチクエスチョン

• RQ1 共正則化されたRBMは、キーフレーム選択の質を向上させるために、効果的に被写体-シーンの連携表現を学習できるか？
• RQ2 魅力性と情報性という観点から、本手法は均一サンプリングおよびk-meansクラスタリングと比較して、ユーザーがどのように評価するか？
• RQ3 Dailymotionの現在のプロダクションアルゴリズムに比べて、本手法はコンパクトな動画要約を生成する面で優れているか？
• RQ4 キーフレーム数が少ない場合（例：K=4）に、本手法の性能向上が顕著に現れるか？
• RQ5 学習された被写体-シーン関連性は、動画要約の解釈可能性と品質をどの程度向上させるか？

主な発見

• 本手法は、キーフレーム数（K=4,6,8）にかかわらず、均一サンプリングおよびk-meansクラスタリングと比較して、魅力性で79.55%～97.73%の好まれる割合を達成した。
• 情報性の観点では、同様のベースラインと比較して78.41%～94.32%の好まれる割合を示し、K=4の際に最も顕著な向上が見られた。
• Dailymotionのプロダクションアルゴリズムと比較すると、魅力性で77.27%、情報性で78.41%の好まれる割合を示し、顕著な改善が確認された。
• 共正則化スキームは、被写体（例：ホッキョクグマやキングペンギン）とシーン（例：アイスバーグ）が同じシーンに共存するが、同じフレームに存在しない場合でも、意味のある被写体-シーン関連性を効果的に学習した。
• 本手法は、特にコンパクトな要約において一貫して優位性を示し、冗長性を最小限に抑えつつ、視覚的および意味的多様性を最大化できることを示した。
• ユーザーが感じる魅力性と情報性は強く相関しており、視覚的に魅力的な要約は、同時に情報量が多い傾向にあることが示された。