[論文レビュー] CLIP-It! Language-Guided Video Summarization

Medhini Narasimhan, Anna Rohrbach+1 more|arXiv (Cornell University)|Jul 1, 2021

Video Analysis and Summarization参考文献 45被引用数 15

ひとこと要約

CLIP-Itは、CLIPベースの視覚的・言語的埋め込みと自己注意機構を活用して、自然言語クエリまたは詳細キャプションに対する関連性に基づいてフレームのスコアを付ける、統合的かつ言語誘導型のマルチモーダルトランスフォーマーを提示する。これは汎用的およびクエリ焦点型の動画要約の両方に対して、最先端の性能を達成しており、転移設定ではF1スコアを最大5%向上させ、TVSum、SumMe、QFVSデータセットにおいても先行手法を上回っている。

ABSTRACT

A generic video summary is an abridged version of a video that conveys the whole story and features the most important scenes. Yet the importance of scenes in a video is often subjective, and users should have the option of customizing the summary by using natural language to specify what is important to them. Further, existing models for fully automatic generic summarization have not exploited available language models, which can serve as an effective prior for saliency. This work introduces CLIP-It, a single framework for addressing both generic and query-focused video summarization, typically approached separately in the literature. We propose a language-guided multimodal transformer that learns to score frames in a video based on their importance relative to one another and their correlation with a user-defined query (for query-focused summarization) or an automatically generated dense video caption (for generic video summarization). Our model can be extended to the unsupervised setting by training without ground-truth supervision. We outperform baselines and prior work by a significant margin on both standard video summarization datasets (TVSum and SumMe) and a query-focused video summarization dataset (QFVS). Particularly, we achieve large improvements in the transfer setting, attesting to our method's strong generalization capabilities.

研究の動機と目的

• 文献における個別的手法の限界を克服し、汎用的およびクエリ焦点型の動画要約を1つのフレームワークに統合すること。
• 制限付きキーワードセットではなく、オープンエンドの自然言語クエリを用いてユーザーカスタマイズ可能な動画要約を可能にすること。
• CLIPからの言語の事前知識と、既存の動画キャプション生成モデルを統合することで、フレームスコアリングにおける要約品質を向上させること。
• 再構成損失と多様性損失を用いた教師なし事前学習により、強力な一般化性能およびゼロショット転移性能を達成すること。
• 言語条件付き処理が、視覚的特徴のみに依存する場合に比べ、特に複雑または曖昧な動画コンテンツにおいても、サリエンシー検出を向上させることの有効性を示すこと。

提案手法

• 位置エンコーディングを用いたマルチモーダルトランスフォーマーにより、動画フレームと言語入力を同時に符号化し、時間的順序を保持しながら全フレームにわたる完全なアテンションを可能にする。
• 言語誘導型アテンションヘッドが、視覚的および言語的埋め込みを統合し、フレームスコアリングのための共同表現を生成する。
• 統合表現を用いてフレームレベルの重要度スコアを予測し、平均化によりショットレベルのスコアに変換した後、目標要約長に適合するようナップサック最適化を実行する。
• 教師なし学習では、入力フレームの再構成損失と、重複のないキーフレームを促進する多様性損失を活用し、教師なしアノテーションを一切使用しない。
• 強力な事前学習済みの視覚的・言語的特徴を提供するCLIPの視覚および言語エンコーダーを用い、汎用的要約のための記述を生成するために、既存の詳細動画キャプション生成モデル（例：BMT）を活用する。
• 本フレームワークは両方の設定をサポートする：汎用的要約では自動生成キャプションを入力とし、クエリ焦点型要約ではユーザー定義の自然言語クエリを入力とする。

実験結果

リサーチクエスチョン

• RQ1 1つの統合フレームワークが、汎用的およびクエリ焦点型の動画要約の両方を効果的に処理できるか？
• RQ2 CLIPと詳細キャプション生成の言語事前知識を統合することで、視覚的特徴のみのモデルに比べ、フレームのサリエンシー検出がどの程度向上するか？
• RQ3 特にゼロショットまたは転移学習設定において、モデルのドメインおよびデータセット間での一般化能力はどの程度か？
• RQ4 オープンエンドで記述的な自然言語クエリ（例：「湖、川、滝など、すべての水体」）を用いて、正確なクエリ焦点型要約を効果的に生成できるか？
• RQ5 再構成損失と多様性損失を用いた教師なし事前学習により、人間による重要度スコアのアノテーションなしで競争力のある性能が得られるか？

主な発見

• 教師あり設定では、TVSumおよびSumMeの両方でF1スコアが3%絶対値上昇し、教師なし設定では4%上昇した。
• 転移設定ではF1スコアが5%向上し、訓練データと評価データが不一致な場合でも強力な一般化性能を示した。
• クエリ焦点型要約のためのQFVSデータセットでは、平均F1スコアが54.55%に達し、最良のベースライン（44.19%）を10ポイント以上上回った。
• 定性的な結果から、モデルは「野菜をみじん切りにする」や「パンをトーストする」といった行動に対応するキーフレームを正しく特定している一方で、人々が食べたり話していたりするような関係のないフレームを回避していることが確認された。
• アブレーションスタディにより、言語誘導が誤検出（視覚的特徴のみのモデルではスコアが高いが、正解要約では関連性が低い）を顕著に低減することが確認された。
• より弱い視覚的特徴（例：CLIPではなくResNet）を用いても、CLIP-Itは先行する最先端手法を上回る性能を示しており、特徴選択に対して高いロバスト性を示している。