[論文レビュー] HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training

Qinghao Ye, Guohai Xu+5 more|arXiv (Cornell University)|Dec 30, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

HiTeA は、2 つの新しい事前学習タスクであるクロスモーダル・モーメントエクスプロレーション (CME) とマルチモーダル・テンポラル・リレーションエクスプロレーション (MTRE) を通じて、微細なモーメント表現と時間的関係をモデル化することにより、動画・言語理解を向上させる階層的時系列注意型の動画・言語事前学習フレームワークを提案する。これは、特に時間的指向のベンチマークである SSv2-Template (+8.6%) および SSv2-Label (+11.1%) において最先端の性能を達成し、優れたゼロショット一般化性能と向上した時間的モデリング能力を示している。

ABSTRACT

Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.

研究の動機と目的

• 既存の動画・言語事前学習手法が動画全体を一括して扱い、微細な時間的詳細や関係をモデル化できないという限界を解消すること。
• 異なる時間分解能での動画の階層的ビューを導入することで、動画モーメントとテキストの間のクロスモーダル整合性を向上させること。
• 動画モーメントとそれに対応するテキスト記述の間の暗黙的な時間的依存関係を捉えること。
• 時間的シャッフルテストを新たに導入し、データセットおよびモデルの時間的依存性を評価すること。
• 統一的で階層的な時系列注意型の事前学習フレームワークを通じて、動画・言語理解および生成能力の両方を向上させること。

提案手法

• HiTeA は、異なる時間分解能で長時間ビューと短時間ビューの動画クリップを生成し、入力動画の階層的表現を構築する。
• クロスモーダル・モーメントエクスプロレーション (CME) タスクは、正例およびハードネガティブな語-動画ペアを用いて、短時間ビューの動画表現と関連するテキストフレーズを共有埋め込み空間に整列させる。
• マルチモーダル・テンポラル・リレーションエクスプロレーション (MTRE) タスクは、関連語でガイドされた短時間ビュー動画と、テキストでガイドされた長時間ビュー動画の間でマルチモーダルな整列を実行し、異なるビュー間の時間的関係を捉える。
• フレームワークは、動画とテキストのための別々のエンコーダを備えたデュアルブランチアーキテクチャを採用し、対照的学習を用いて整列を最適化する。
• 時間的シャッフルテストを導入し、データセットの時間的依存性と、事前学習モデルの時間的摂動に対するロバストネスを評価する。
• モデルは大規模な動画・テキストペアで事前学習され、微調整段階では標準的なプロトコルに従い、均一サンプリングとデータ拡張を用いて下流タスクで微調整される。

Figure 1 : Comparison between existing paradigms and ours for video-language pre-training. (a) Previous methods align video and text within global perspective as the pretext. (b) We introduce HiTeA by varying video in different temporal views and modeling cross-modal alignment between moments and te

実験結果

リサーチクエスチョン

• RQ1 複数の時間的分解能で動画をモデル化することで、動画・言語事前学習における微細なモーメント理解が向上するか？
• RQ2 事前学習フレームワークが、動画モーメントとそのテキスト記述の間の暗黙的な時間的関係をどれほど効果的に捉えられるか？
• RQ3 既存の動画・言語データセットが、静的視覚的キューではなく時間的ダイナミクスにどれほど依存しているか？
• RQ4 階層的時系列注意型の事前学習アプローチは、ゼロショットの下流タスクに効果的に一般化できるか？
• RQ5 時間的指向のベンチマークにおいて、提案手法は既存の動画・言語事前学習モデルと比較してどの程度の性能を示すか？

主な発見

• HiTeA は、15 の代表的な動画・言語理解および生成タスクで最先端の性能を達成し、多様なベンチマークにわたる強力な一般化能力を示している。
• 時間的理解を重視する SSv2-Template データセットでは、前例に比べて 8.6% の向上を達成した。
• 外観的特徴と時間的ダイナミクスの両方を必要とする SSv2-Label データセットでは、11.1% の向上を達成し、複雑な時間的関係のモデル化における有効性が顕著に示された。
• モデルは強力なゼロショット転送性能を示しており、事前学習段階で学習された堅牢で一般化可能な表現が得られていることが示唆される。
• 提案された時間的シャッフルテストにより、多くの既存データセットが静的視覚的キューに偏っていることが判明し、HiTeA はこのような時間的摂動に対してより耐性があることが明らかになった。
• アブレーションスタディにより、CME および MTRE の両事前学習タスクが、特に時間的指向タスクにおいてモデル性能に顕著な寄与をしていることが確認された。

Figure 2 : Illustration of the proposed HiTeA . We first generate two different temporal views for the input video, where the long-view is the video itself and the short-view is randomly truncated from the input video. To explore the moment revealed in the short-view, cross-modal moment exploration