[論文レビュー] LocVTP: Video-Text Pre-training for Temporal Localization

Meng Cao, Tianyu Yang+4 more|arXiv (Cornell University)|Jul 21, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、時間的局所化タスクに特化した動画・テキスト事前学習フレームワークであるLocVTPを提案する。微細なクリップ・ワード対応学習による特徴の整合性向上と、文脈投影ヘッドおよび時間に敏感な対照的損失を用いた時間的推論の向上により、6つのデータセットでリtrievalベースおよび局所化ベースの下流タスクにおいて最先端の性能を達成した。

ABSTRACT

Video-Text Pre-training (VTP) aims to learn transferable representations for various downstream tasks from large-scale web videos. To date, almost all existing VTP methods are limited to retrieval-based downstream tasks, e.g., video retrieval, whereas their transfer potentials on localization-based tasks, e.g., temporal grounding, are under-explored. In this paper, we experimentally analyze and demonstrate the incompatibility of current VTP methods with localization tasks, and propose a novel Localization-oriented Video-Text Pre-training framework, dubbed as LocVTP. Specifically, we perform the fine-grained contrastive alignment as a complement to the coarse-grained one by a clip-word correspondence discovery scheme. To further enhance the temporal reasoning ability of the learned feature, we propose a context projection head and a temporal aware contrastive loss to perceive the contextual relationships. Extensive experiments on four downstream tasks across six datasets demonstrate that our LocVTP achieves state-of-the-art performance on both retrieval-based and localization-based tasks. Furthermore, we conduct comprehensive ablation studies and thorough analyses to explore the optimum model designs and training strategies.

研究の動機と目的

• 既存の動画・テキスト事前学習（VTP）手法が、時間的グランドイングのような局所化ベースのタスクに転送性に欠ける問題に対処すること。
• 特に微細な整合性と時間的推論能力の欠如が、局所化タスクでの性能劣化の根本的原因であることを特定すること。
• クリップレベルおよびフレームレベルの局所化を明示的にサポートする新しいVTPフレームワークを設計し、向上したクロスモodal整合性と時間的モデリングを実現すること。
• 広範なアブレーションスタディおよび下流評価を通じて、提案されたコンponentsの有効性を検証すること。

提案手法

• 2段階の対照的学習戦略を導入：まず粗い粒度の動画文書整合性を学習し、次に潜在空間からの類似度スコアを用いて微細なクリップ・ワード整合性を学習する。
• 手動アノテーションを必要とせず、高類似度ペアを正例サンプルとして選択するクリップ・ワード対応関係発見スキームを提案。
• 学習可能なバイアスベクトルと時間的距離を用いて、文脈的クリップ特徴を基準クリップに変換する文脈投影ヘッドを設計。
• 時間に敏感な対照的損失を採用し、クロスモーダル整合性を維持するとともに、変換された特徴が元のクエリに近いまま保たれるように制約を課す。
• 別々の動画およびテキストエンコーダーを備えたデュアルブランチアーキテクチャを採用し、クロスアテンション統合により共同表現学習を実現。
• 追加の監視信号を必要とせず、自己教師付きのプロキシタスクとして文脈ワープヘッドを適用し、時間的推論能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 既存の動画・テキスト事前学習手法が、時間的グランドイングのような局所化ベースのタスクで性能を発揮できないのはなぜか？
• RQ2 微細なクリップ・ワード整合性を向上させることで、事前学習された特徴の局所化タスク性能が向上するか？
• RQ3 特徴のワープによる時間的文脈認識を組み込むことで、アクティビティシーケンスの推論能力が向上するか？
• RQ4 範囲と方向の観点から、文脈投影ヘッドおよび時間バイアスの最適設計は何か？
• RQ5 時間に敏感な対照的損失は、標準的な対照的損失と比較して、局所化精度の向上にどのように寄与するか？

主な発見

• LocVTPは6つのデータセットでリtrievalベースおよび局所化ベースの下流タスクにおいて、MIL-NCE や UniVL といった既存のVTP手法を上回る最先端の性能を達成した。
• ActivityNet Captions データセットでは、LocVTPが時間的グランドイングにおいてR@1 58.3%を達成し、ベースラインのMIL-NCE手法を著しく上回った。
• アブレーションスタディの結果、文脈投影ヘッドや時間に敏感な対照的損失を削除すると性能が低下し、両者の必要性が確認された。
• 最適な最大バイアス距離 δ_max は4であると判明した。これより小さいか大きな値では、それぞれ文脈モデリングが不十分または過剰になるため性能が劣化した。
• 時間に敏感な対照的損失におけるクロスモーダル制約は、イントラモーダルバージョンを上回り、ワープ過程でもクロスモーダル整合性を維持することが重要であることを証明した。
• 可視化およびUMAPの結果から、LocVTPはより分離性が高く局所化に適した表現を学習しており、類似度分布において投影された特徴が基準特徴と密接に一致していることが確認された。