[論文レビュー] Collaborative Summarization of Topic-Related Videos

Rameswar Panda, Amit K. Roy–Chowdhury|arXiv (Cornell University)|Jun 9, 2017

Video Analysis and Summarization参考文献 55被引用数 10

ひとこと要約

本稿では、トピック関連動画からの視覚的文脈を活用することで要約品質を向上させる共同動画要約手法を提案する。$\ell_{2,1}$-ノルムスパース最適化とコンSENSUS正則化子を組み合わせた共同最適化により、動画固有の詳細と共通するトピックレベルの一般性を捉える代表的ショットを特定し、CoSumおよびTVSum50データセットにおいて最先端手法を上回る性能を発揮する。

ABSTRACT

Large collections of videos are grouped into clusters by a topic keyword, such as Eiffel Tower or Surfing, with many important visual concepts repeating across them. Such a topically close set of videos have mutual influence on each other, which could be used to summarize one of them by exploiting information from others in the set. We build on this intuition to develop a novel approach to extract a summary that simultaneously captures both important particularities arising in the given video, as well as, generalities identified from the set of videos. The topic-related videos provide visual context to identify the important parts of the video being summarized. We achieve this by developing a collaborative sparse optimization method which can be efficiently solved by a half-quadratic minimization algorithm. Our work builds upon the idea of collaborative techniques from information retrieval and natural language processing, which typically use the attributes of other similar objects to predict the attribute of a given object. Experiments on two challenging and diverse datasets well demonstrate the efficacy of our approach over state-of-the-art methods.

研究の動機と目的

• 既存の動画要約手法が個々の動画を独立して扱うという限界に対処し、トピック関連動画間の共有視覚的情報を無視する問題を解消すること。
• 関連動画からの共通するトピックレベルのパターンと動画固有の顕著なコンテンツを同時にモデル化することで、要約品質を向上させること。
• 代表的で多様性のあるショット選択をバランスさせる共同スパース最適化フレームワークを構築すること。
• 高速収束を実現する半2乗最小化アルゴリズムを用いて、大規模な動画要約を効率的に行えるようにすること。

提案手法

• 本手法は動画を非一様なショットに分割し、各ショットを平均プーリングにより抽出したC3D特徴量で表現する。
• スパース最適化問題として要約タスクを定式化し、$\ell_{2,1}$-ノルム正則化子を用いることでスパarsityとグループ選択を促進する。
• ターゲット動画の固有性とトピック関連動画からの一般性を同時に捉えるために、コンセンサス正則化子を導入する。
• 非滑らかさを解消するため、半2乗最小化アルゴリズムにより最適化を実行し、非滑らか問題を2つの独立した線形系に分解して計算を効率化する。
• 最終的な要約は、スパース係数行列から導出された重要度スコアが最も高いショットから構築される。
• 本手法は事前にトピック関連動画が利用可能であると仮定しており、外れ値の処理のためのクラスタリングやメタデータによる精練も可能である。

実験結果

リサーチクエスチョン

• RQ1 トピック関連動画からの視覚的情報を活用することで、動画要約の情報量とコンactさが向上するか？
• RQ2 共同最適化フレームワークは、ショット選択において動画固有の顕著性と共通するトピックレベルの一般性のバランスをどのようにとるか？
• RQ3 コンセンサス正則化子は、個々の動画の重要度と集団的なトピックレベル一般性を共同でモデル化する上でどのような影響を及ぼすか？
• RQ4 提案された半2乗最小化アルゴリズムは、大規模な動画要約に対して収束性とスケーラビリティをどのように保証するか？
• RQ5 本手法は、トピック指向要約およびマルチビデオコンセプト可視化において、最先端手法をどの程度上回るか？

主な発見

• 提案された共同動画要約（CVS）手法は、CoSumおよびTVSum50データセットにおいて、最先端手法を上回る優れた性能を達成した。
• トピック関連動画間の共有視覚パターンを活用することで、情報量が多く多様性のある要約が得られ、要約品質が顕著に向上した。
• 半2乗最小化アルゴリズムにより、目的関数が単調に減少し、高速収束が実現され、大規模応用において実用的であることが示された。
• コンセンサス正則化子の導入により、個々の動画の顕著性と集団的なトピックレベル一般性の効果的で共同モデル化が可能になった。
• 実験結果により、自動評価および人的評価の両方の指標において、非共同ベースラインを一貫して上回ることが確認された。