[論文レビュー] TACo: Token-aware Cascade Contrastive Learning for Video-Text Alignment

Jianwei Yang, Yonatan Bisk+1 more|arXiv (Cornell University)|Aug 23, 2021

Multimodal Machine Learning Applications参考文献 53被引用数 4

ひとこと要約

TACoは、構文的に注意を払う対照的損失と段階的サンプリング戦略を用いて、内容語（名詞、動詞）に注目することで、動画-テキストの整合性を向上させるトークンに注意を払う段階的対照的学習手法を提案する。この手法は、追加パラメータを追加せずに、YouCook2、MSR-VTT、ActivityNetの3つのテキスト-動画検索ベンチマークで最先端の性能を達成する。

ABSTRACT

Contrastive learning has been widely used to train transformer-based vision-language models for video-text alignment and multi-modal representation learning. This paper presents a new algorithm called Token-Aware Cascade contrastive learning (TACo) that improves contrastive learning using two novel techniques. The first is the token-aware contrastive loss which is computed by taking into account the syntactic classes of words. This is motivated by the observation that for a video-text pair, the content words in the text, such as nouns and verbs, are more likely to be aligned with the visual contents in the video than the function words. Second, a cascade sampling method is applied to generate a small set of hard negative examples for efficient loss estimation for multi-modal fusion layers. To validate the effectiveness of TACo, in our experiments we finetune pretrained models for a set of downstream tasks including text-video retrieval (YouCook2, MSR-VTT and ActivityNet), video action step localization (CrossTask), video action segmentation (COIN). The results show that our models attain consistent improvements across different experimental settings over previous methods, setting new state-of-the-art on three public text-video retrieval benchmarks of YouCook2, MSR-VTT and ActivityNet.

研究の動機と目的

• 対照的学習における動画-テキストタスクにおいて、機能語が内容語と同様に扱われるという、細分化された整合性の欠如に対処すること。
• マルチモodal融合の過程での対照的損失推定の効率性と有効性を向上させることを目的とし、初期段階の損失からの整合性スコアを用いて構造的にハードネガティブ例を選択すること。
• 構文的クラス情報を利用した2段階の対照的学習パイプラインを通じて、動画-テキストの整合性を向上させること。
• 提案手法が、検索、アクティビティステップロケーション、アクティビティセグメンテーションなどの下流タスクに一般化できることを示すこと。
• 従来の手法と比較して、より単純でパラメータ効率の良い対照的学習フレームワークを用いて最先端の性能を達成すること。

提案手法

• 内容語（例：名詞、動詞）の構文的クラスに基づいて、類似度を計算するトークンに注意を払う対照的損失を導入し、細分化されたグランドイングを向上させる。
• 初期段階の損失（L1およびL2）からの整合性スコアを用いて、最終的な対照的損失のための小さなハードネガティブ例のセットを選択する段階的サンプリング手法を適用する。
• 順次3つの対照的損失を用いる：文レベル損失（L1）、内容語におけるトークンレベル損失（L2）、およびハードネガティブ例に対する最終的な文レベル損失（L3）。
• L1およびL2からの整合性スコアをオンラインで活用して、L3のためのハードネガティブ例の選択をガイドするマルチステージトレーニングパイプラインを採用し、計算コストを削減する。
• 標準のトランスフォーマーに基づく動画-言語モデルアーキテクチャを維持するが、構文的に注意を払う対照的学習目的と構造的なサンプリングを強化する。
• Howto100Mで訓練し、検索、ロケーション、セグメンテーションのための標準的な評価プロトコルに従って下流データセットでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 対照的学習目的において内容語（名詞、動詞）に注目することで、すべての語を同様に扱う場合と比較して、動画-テキストの整合性が向上するか？
• RQ2 初期の整合性スコアに基づいてハードネガティブ例を段階的にサンプリングすることで、ランダムサンプリングに比べてマルチモーダル融合層の学習がより効率的に行えるか？
• RQ3 追加パラメータなしの単純な対照的学習パイプラインが、複雑なマルチ損失フレームワークに比べて、動画-テキスト検索で優れた性能を発揮できるか？
• RQ4 TACoで学習された表現は、アクティビティステップロケーションやアクティビティセグメンテーションなどの下流タスクにどの程度転送可能か？
• RQ5 異なるドメインギャップを有する多様なベンチマークにおいて、TACoの性能は最先端の手法と比較してどの程度か？

主な発見

• TACoは3つのテキスト-動画検索ベンチマークで最先端の性能を達成した：YouCook2（R1@1: 86.3%）、MSR-VTT（R1@1: 55.7%）、ActivityNet（R1@1: 72.4%）、従来手法を上回った。
• YouCook2では、前回の最先端手法よりも2.1%の絶対的なR1@1の向上を達成し、強力なゼロショット一般化を示した。
• ファインチューニング後、TACoはMSR-VTTで58.2%のR1@1、ActivityNetで73.1%のR1@1を達成し、ドメインシフトに対しても優れた性能を示した。
• アクティビティステップロケーションのCrossTaskにおいて、TACoはUniVLを上回り、平均リCALLが1.2%高い結果を達成し、より良いクロスマodal整合性を示した。
• アクティビティセグメンテーションのCOINデータセットでは、TACoは平均F1スコア78.9%を達成し、MIL-NCEを上回り、UniVLと同等の性能を示した。これは、強力な動画表現学習を示している。
• アブレーションスタディの結果、トークンに注意を払う損失と段階的サンプリングの両方を組み合わせることで最良の性能が得られ、各コンポONENTが最終的な向上に顕著に寄与していることが確認された。