[論文レビュー] Text Is MASS: Modeling as Stochastic Embedding for Text-Video Retrieval

Jiamian Wang, Guohao Sun+6 more|arXiv (Cornell University)|Mar 26, 2024

Video Analysis and Summarization被引用数 4

ひとこと要約

本稿では、動画の豊富で重複する意味的特徴をよりよく捉えるために、テキストを連合埋め込み空間内の分布（「質量」）としてモデル化する、T-MASSと呼ばれる新しい確率的テキスト埋め込み手法を提案する。類似度に配慮した半径モジュールとサポートテキスト正則化を導入することで、テキストと動画の間の整合性が向上し、MSRVTT、LSMDC、DiDeMo、VATEX、Charadesを含む5つのベンチマークでR@1が3%〜6.3%向上し、最先端の性能を達成した。

ABSTRACT

The increasing prevalence of video clips has sparked growing interest in text-video retrieval. Recent advances focus on establishing a joint embedding space for text and video, relying on consistent embedding representations to compute similarity. However, the text content in existing datasets is generally short and concise, making it hard to fully describe the redundant semantics of a video. Correspondingly, a single text embedding may be less expressive to capture the video embedding and empower the retrieval. In this study, we propose a new stochastic text modeling method T-MASS, i.e., text is modeled as a stochastic embedding, to enrich text embedding with a flexible and resilient semantic range, yielding a text mass. To be specific, we introduce a similarity-aware radius module to adapt the scale of the text mass upon the given text-video pairs. Plus, we design and develop a support text regularization to further control the text mass during the training. The inference pipeline is also tailored to fully exploit the text mass for accurate retrieval. Empirical evidence suggests that T-MASS not only effectively attracts relevant text-video pairs while distancing irrelevant ones, but also enables the determination of precise text embeddings for relevant pairs. Our experimental results show a substantial improvement of T-MASS over baseline (3% to 6.3% by R@1). Also, T-MASS achieves state-of-the-art performance on five benchmark datasets, including MSRVTT, LSMDC, DiDeMo, VATEX, and Charades.

研究の動機と目的

• 動画の意味的豊かさを十分に捉えることができない単一の点としてのテキスト埋め込みの限界を解消すること。
• テキストを柔軟で適応可能な分布としてモデル化することで、連合埋め込み空間におけるテキストと動画の表現の整合性を向上させること。
• テキスト埋め込みにおける耐障害性のある意味的範囲を可能にすることで、検索のロバスト性と正確性を向上させること。
• 確率的テキスト質量の学習を偏りなく効果的に正則化する訓練戦略を開発すること。
• 確率的性質を最大限に活かせるように推論を再設計し、より良い検索性能を実現すること。

提案手法

• T-MASSは、CLIPに基づくテキスト特徴に再パラメータライゼーションを適用することで、テキストを埋め込み空間内の単一の点ではなく、確率的埋め込み（「質量」）としてモデル化する。
• 類似度に配慮した半径モジュールは、クエリテキストと動画ペア間の類似度に基づいて、テキスト質量のスケールを動的に調整する。
• 訓練中にテキスト質量の位置とスケールを同時に制御するためのサポートテキストベクトルを導入する。
• テキスト質量分布を学習するために、確率的対称クロスエントロピー損失を採用し、関連する動画埋め込みとの整合性を向上させる。
• 推論を再設計し、1つのクエリに対して複数の確率的テキスト埋め込みをサンプリングし、各動画候補に対して最も近いものを選択することで、検索精度を向上させる。
• サンプリングされた確率的テキスト点と動画埋め込みの間で対照学習を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 単一の点ではなく、確率的分布としてテキストをモデル化することで、テキスト-動画検索性能が向上するか？
• RQ2 テキスト-動画ペアの意味的類似度に基づいて、テキスト質量のスケールをどのように適応的に決定できるか？
• RQ3 確率的テキスト質量を正則化する最良の訓練戦略は何か？ これは、学習の偏りを避けつつ整合性を向上させるために重要である。
• RQ4 推論時にテキスト質量の全性質を活用することで、単一の埋め込みを使用する場合と比較して、検索精度はどのように向上するか？
• RQ5 提案手法は、動画長やキャプションスタイルが異なる多様な動画-テキストデータセットに一般化可能か？

主な発見

• T-MASSは、MSRVTT、LSMDC、DiDeMo、VATEX、Charadesを含む5つのベンチマークデータセットで、強力なベースラインを上回り、R@1が3%〜6.3%向上した。
• 確率的埋め込みを用いることで、不適切なテキスト-動画ペア間のコサイン類似度が顕著に低下し、埋め込み空間内での分離性が向上していることが示された。
• 確率的埋め込みの使用により、関連ペアにおける交差エントロピー損失が低減され、類似度が高まり、整合性が向上していることが反映されている。
• 最適なサポートテキスト正則化重み α = 1.2 が、最高の検索性能をもたらし、テキスト質量の適切な制御の重要性を示している。
• 入力動画フレーム数が変化しても安定した性能を示し、T′ = 12〜24フレームの範囲でCharadesで一貫した性能向上が得られた。
• 20回のサンプリング試行を用いた推論が、精度と計算コストのバランスを最適に保ち、安定した最良の性能を達成した。