[論文レビュー] CUPID: Adaptive Curation of Pre-training Data for Video-and-Language Representation Learning

Luowei Zhou, Jingjing Liu+3 more|ArXiv.org|Apr 1, 2021

Multimodal Machine Learning Applications参考文献 71被引用数 7

ひとこと要約

CUPIDは、ドメインギャップを埋めるために、ターゲットドメイン関連の動画に焦点を当てた適応的データキュレーションフレームワークを提案する。ダウンストリームタスクに関連する視覚的・意味的類似性を持つソース動画を選択することで、CUPIDは、テキストから動画への検索、動画質問応答、動画キャプション生成の分野で最先端の性能を達成し、フルプレトレーニングに比べて最大80%のデータと60%のトレーニングステップを削減する。

ABSTRACT

This work concerns video-language pre-training and representation learning. In this now ubiquitous training scheme, a model first performs pre-training on paired videos and text (e.g., video clips and accompanied subtitles) from a large uncurated source corpus, before transferring to specific downstream tasks. This two-stage training process inevitably raises questions about the generalization ability of the pre-trained model, which is particularly pronounced when a salient domain gap exists between source and target data (e.g., instructional cooking videos vs. movies). In this paper, we first bring to light the sensitivity of pre-training objectives (contrastive vs. reconstructive) to domain discrepancy. Then, we propose a simple yet effective framework, CUPID, to bridge this domain gap by filtering and adapting source data to the target data, followed by domain-focused pre-training. Comprehensive experiments demonstrate that pre-training on a considerably small subset of domain-focused data can effectively close the source-target domain gap and achieve significant performance gain, compared to random sampling or even exploiting the full pre-training dataset. CUPID yields new state-of-the-art performance across multiple video-language and video tasks, including text-to-video retrieval [72, 37], video question answering [36], and video captioning [72], with consistent performance lift over different pre-training methods.

研究の動機と目的

• 既存のプレトレーニングパラダイムが、ソースデータとターゲットデータの間のドメインギャップのため、ドメインを越えて一般化しにくいかを調査すること。
• プレトレーニングモデルをドメイン外のデータに移行する際のダウンストリームタスクにおける性能低下を解消すること。
• ターゲットドメインに適合するように適応的かつ効果的にプレトレーニングデータをキュレーションする手法を開発し、フルスケールのプレトレーニングなしで移行性を向上させること。
• 限定的でキュレーションされたデータサブセットに焦点を当てたプレトレーニングが、ランダムサンプリングやより大きな未キュレーションデータセットにおけるフルプレトレーニングを上回ることを実証すること。

提案手法

• CUPIDは、埋め込みベースの類似性またはメタデータマッチングを用いて、ターゲットのダウンストリームデータセットに類似した視覚的・意味的特徴を持つソース動画を特定することで、大規模なソースプレトレーニングデータセットをフィルタリングする。
• 3つのフィルタリング戦略を採用する：ヒューリスティックマッチング、埋め込み空間内のk近傍探索、動画のカテゴリーやタイトルなどのメタデータを用いた平均類似度スコア。
• フィルタリングされたサブセットを用いて、対照的または再構成的目的関数に基づき、ビデオ言語モデルをプレトレーニングし、ドメイン関連のパターンに学習を集中させる。
• バッチサイズが小さい場合の性能低下を軽減するために、新しいN²-NCE損失関数を導入し、ネガティブサンプルの集合を2乗的に拡張する。
• フレームワークは、ビデオ言語プレトレーニング（CUPID-vlp）とビデオオンリープレトレーニング（CUPID-clip）の両方をサポートし、多様なダウンストリームタスクへの移行を可能にする。
• 標準化された分割と再評価されたベースラインを用いて、YouCook2、TVQA、TVR、HMDB51の複数のベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 ソースプレトレーニングデータとターゲットダウンストリームデータの間のドメイン差が、ビデオ言語モデルの移行性にどのように影響するか？
• RQ2 対照的と再構成的のどちらのプレトレーニング目的関数がドメインギャップに対して感受性が強いのか？
• RQ3 ターゲットドメインに一致する小さなキュレーション済みデータサブセットが、より大きな未キュレーションデータセットにおけるフルプレトレーニングを上回ることができるか？
• RQ4 適応的データキュレーションは、プレトレーニングデータ量とトレーニングステップ数を削減しながら、どの程度ダウンストリーム性能を向上させることができるか？

主な発見

• テキストから動画への検索タスクにおいて、CUPIDは以前の最先端手法に比べ、R@1で27%、R@5で19%、R@10で17%の相対的改善を達成し、新たな最先端性能を記録した。
• TVRタスクでは、フルHowTo100Mプレトレーニングを用いたSOTAモデルを20%のトレーニングデータと40%のトレーニングステップで5〜14%の相対的向上を達成した。
• TVQAタスクでは、テスト精度74.21%を達成し、ベースモデルのHERO（73.61%）と最新のSOTA手法を上回った。
• YouCook2の動画キャプション生成タスクでは、CUPID-vlpがActBERTを大幅に上回る最先端性能を達成したが、HowTo100Mからの事前学習済み特徴抽出器を用いたにもかかわらずである。
• HMDB51のアクション認識タスクでは、CUPID-clipが、より多くのプレトレーニングデータと音声モダリティを用いたSOTA手法と同等の性能を達成し、単独のビデオ表現学習の有効性を示した。
• CUPIDは、同じハードウェア上でのプレトレーニング時間を3週間から6日間に短縮したが、性能を維持または向上させた。