[論文レビュー] Multimodal Frame-Scoring Transformer for Video Summarization

Jeiyoon Park, Kiho Kwoun+2 more|arXiv (Cornell University)|Jul 5, 2022

Video Analysis and Summarization被引用数 7

ひとこと要約

本論文では、動画要約のためのフレームレベル重要度スコアを予測するために、視覚的、言語的、音声的特徴を統合的に活用する新規フレームワーク、Multimodal Frame-Scoring Transformer (MFST) を提案する。キャプション誘導型アテンションメカニズムとモダリティ統合表現学習を採用することで、TVSum および SumMe データセットにおいて、F1 スコアおよびランクベース評価指標の両面で、先行手法と顕著な差をつけて最先端の性能を達成した。

ABSTRACT

As the number of video content has mushroomed in recent years, automatic video summarization has come useful when we want to just peek at the content of the video. However, there are two underlying limitations in generic video summarization task. First, most previous approaches read in just visual features as input, leaving other modality features behind. Second, existing datasets for generic video summarization are relatively insufficient to train a caption generator used for extracting text information from a video and to train the multimodal feature extractors. To address these two problems, this paper proposes the Multimodal Frame-Scoring Transformer (MFST), a framework exploiting visual, text, and audio features and scoring a video with respect to frames. Our MFST framework first extracts each modality features (audio-visual-text) using pretrained encoders. Then, MFST trains the multimodal frame-scoring transformer that uses multimodal representation based on extracted features as inputs and predicts frame-level scores. Our extensive experiments with previous models and ablation studies on TVSum and SumMe datasets demonstrate the effectiveness and superiority of our proposed method by a large margin in both F1 score and Rank-based evaluation.

研究の動機と目的

• 従来の動画要約モデルが視覚的特徴に依存するという制限を克服するため、音声的および言語的モダリティを統合すること。
• 一般動画要約におけるデータ不足を解消するため、事前学習済みキャプション生成器およびマルチモーダル特徴抽出器を活用すること。
• 専用のフレームスコア予測トランスフォーマーを用いて、マルチモーダル表現を統合することで、フレームレベルの重要度予測を向上させること。
• 人間の認識する動画のハイライトを、単モダリティまたは二モダリティ手法よりも正確に捉えることのできるマルチモーダル統合の有効性を示すこと。

提案手法

• フレームワークはまず、事前学習済みエンコーダーを用いて音声的、視覚的、言語的特徴を抽出する。
• キャプション誘導型アテンションメカニズムを適用し、テキスト的記述を視覚的および音声的特徴と、細粒度な埋め込みレベルで整合させる。
• モダリティ固有の表現を粗粒度の投影によって統合し、統一されたマルチモーダル表現を生成する。
• フレームスコア予測トランスフォーマーは、マルチモーダル表現を入力として受け取り、フレームレベルの重要度スコアを予測する。
• TVSum および SumMe データセットからの正例フレームレベル重要度アノテーションを用いて、エンドツーエンドでモデルを訓練する。
• 事前学習モジュールを活用することで、データ依存性を低減し、リソースが限られた環境でも特徴学習の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的、音声的、言語的特徴の統合は、単モダリティまたは二モダリティ手法と比較して、動画要約性能を顕著に向上させるか？
• RQ2 事前学習済みキャプション生成器およびマルチモーダル特徴抽出器の使用は、データが限られる動画要約設定において性能にどのように影響するか？
• RQ3 アテンションおよび投影によるモダリティ統合は、フレームレベルの重要度予測をどの程度向上させるか？
• RQ4 提案されたフレームスコア予測トランスフォーマーのアーキテクチャは、既存のアテンションベースまたは系列モデル手法よりも一般化性能に優れているか？

主な発見

• SumMe データセットでは、MFST が F1 スコア 0.595 を達成し、次に優れた手法と比較して F1 スコアで 0.053 の差をつけていた。
• TVSum データセットでは、MFST が F1 スコア 0.737 を達成し、最も近い競合手法を 0.029 ポints 上回った。
• アブレーションスタディの結果、音声的および言語的特徴を個別に追加することで性能が向上し、三モダリティ統合の完全な構成が最も高い向上をもたらした。
• 定性的な分析から、MFST が予測する重要度スコアは、ピークおよび谷値の位置において、正例スコアと強く一致しており、人間の認識と良好な整合性を示している。
• 各モダリティを順次追加するごとに性能が段階的に向上し、マルチモーダル統合の価値が裏付けられた。
• MFST は F1 スコアおよびランクベース評価指標の両方で最先端の結果を達成し、複数の評価基準において優位性を確認した。