[論文レビュー] UniVTG: Towards Unified Video-Language Temporal Grounding

Kevin Qinghong Lin, Pengchuan Zhang+6 more|arXiv (Cornell University)|Jul 31, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

UniVTG は、スケーラブルな疑似ラベルデータを用いた単一の定式化により、モーメント検出、ハイライト検出、ビデオ要約の3つのタスクを統合する統一されたフレームワークを提案する。柔軟なデュアルストリームモデルと多様な時間的ラベルをカバーする大規模な事前学習を活用することで、QVHighlights や Charades-STA、QFVS を含む7つのベンチマークで最先端の性能を達成し、ゼロショット一般化能力も優れている。

ABSTRACT

Video Temporal Grounding (VTG), which aims to ground target clips from videos (such as consecutive intervals or disjoint shots) according to custom language queries (e.g., sentences or words), is key for video browsing on social media. Most methods in this direction develop taskspecific models that are trained with type-specific labels, such as moment retrieval (time interval) and highlight detection (worthiness curve), which limits their abilities to generalize to various VTG tasks and labels. In this paper, we propose to Unify the diverse VTG labels and tasks, dubbed UniVTG, along three directions: Firstly, we revisit a wide range of VTG labels and tasks and define a unified formulation. Based on this, we develop data annotation schemes to create scalable pseudo supervision. Secondly, we develop an effective and flexible grounding model capable of addressing each task and making full use of each label. Lastly, thanks to the unified framework, we are able to unlock temporal grounding pretraining from large-scale diverse labels and develop stronger grounding abilities e.g., zero-shot grounding. Extensive experiments on three tasks (moment retrieval, highlight detection and video summarization) across seven datasets (QVHighlights, Charades-STA, TACoS, Ego4D, YouTube Highlights, TVSum, and QFVS) demonstrate the effectiveness and flexibility of our proposed framework. The codes are available at https://github.com/showlab/UniVTG.

研究の動機と目的

• モーメント検出、ハイライト検出、ビデオ要約を含む多様なビデオ時間的接地（VTG）タスクを、単一でスケーラブルなフレームワークに統合すること。
• 細粒度の時間的アノテーションの不足を補うために、CLIP を用いたデータアノテーション方式を開発し、点、区間、曲線の各タイプのラベルを含む多様なラベルタイプに対してスケーラブルな疑似ラベルを生成すること。
• デュアルストリームモダリティ統合とマルチヘッドデコーディングを活用し、すべてのVTGタスクとラベルタイプを処理可能な柔軟な単一モデルアーキテクチャを設計すること。
• 異種のラベルを統合した大規模な時間的接地事前学習を実施し、より優れたゼロショットおよびフェイントショット一般化能力を実現すること。

提案手法

• 各ビデオをクリップの系列に分解し、それぞれが点レベル、区間レベル、曲線レベルの3つのクエリ条件付き要素に関連付けられる、統一されたVTG定式化を提案する。
• オープンボキャブラリで多様なソース（画像キャプションや動画説明など）から、CLIP を用いたデータ蒸留パイプラインを導入し、スケーラブルで細粒度の高い疑似ラベルを生成する。
• すべてのラベルタイプにわたる視覚的・言語的特徴を効果的に統合できるように、単一ストリーム統合とデュアルストリームアライメント経路を備えたデュアルストリームモデルを設計する。
• 点レベル、区間レベル、曲線レベルの予測をデコード可能な3つのタスク固有のヘッドを装備し、すべてのVTGタスクでエンドツーエンド学習を可能にする。
• Ego4D、VideoCC、CLIP などの複数のデータセットから得た420万件の疑似ラベル付きサンプルを用いた統一された事前学習戦略を採用し、汎用的な時間的接地表現を学習する。
• 既存の手動アノテーションを統一フォーマットに変換するラベル変換メカニズムを適用し、効果的なマルチタスク学習と一般化性能の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 点レベル、区間レベル、曲線レベルのアノテーションを含む多様なVTGタスクとラベルを、統一された定式化で効果的に表現できるか？
• RQ2 CLIP を用いた疑似ラベル付けは、多様な時間的接地タスクに対してスケーラブルで高品質な教師信号を生成するのにどれほど有効か？
• RQ3 タスク固有の微調整なしに、単一の統一モデルが複数のVTGタスクで優れた性能を達成できるか？
• RQ4 統一的で異種のラベルを用いた大規模な事前学習は、時間的接地におけるゼロショットおよびフェイントショット一般化能力をどの程度向上させるか？
• RQ5 点、区間、曲線の各ラベルタイプが、統一フレームワーク全体のパフォーマンスに果たす相対的寄与度はどの程度か？

主な発見

• UniVTG は QVHighlights で最先端の性能を達成し、モーメント検出では 52.54 mAP、ハイライト検出では 54.48 mAP を記録し、タスク固有のモデルを上回った。
• 統一データでの事前学習を経た UniVTG は、QFVS におけるビデオ要約タスクで 45.99 F-score を達成し、前回の最先端モデルを 4.62 ポイント上回った。
• モデルは強力なゼロショット一般化を示した。多様なラベルでの事前学習は、未学習ドメインでの性能を向上させ、非統一的学習に比べてモーメント検出で mAP 4.62 ポイントの向上を達成した。
• アブレーションスタディの結果、曲線レベルのラベルが事前学習において最も効果的であり、3つのラベルタイプを併用することで最良の結果が得られた。
• 統一コーパスの事前学習データ量を 0% から 100% に拡大すると、モーメント検出およびハイライト検出の両タスクで一貫した性能向上が見られた。
• ラベル変換を含む統一定式化は、非統一的学習に比べ、ハイライト検出で 1.28 mAP、モーメント検出で 4.62 mAP の性能向上を達成した。