[論文レビュー] TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval

Yuqi Liu, Pengfei Xiong+3 more|arXiv (Cornell University)|Jul 16, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

TS2-Net は、テキスト-ビデオ検索のための微細な空間的・時間的表現を向上させるために、トランスフォーマーに基づく新しいビデオエンコーダーを提案する。時間的・空間的パッチ間で情報量の多いトークンを動的にシフトおよび選択することで、微細な動きや小さな物体のモデリングを改善し、MSRVTT、VATEX、LSMDC、ActivityNet、DiDeMo で最先端の性能を達成した。

ABSTRACT

Text-Video retrieval is a task of great practical value and has received increasing attention, among which learning spatial-temporal video representation is one of the research hotspots. The video encoders in the state-of-the-art video retrieval models usually directly adopt the pre-trained vision backbones with the network structure fixed, they therefore can not be further improved to produce the fine-grained spatial-temporal video representation. In this paper, we propose Token Shift and Selection Network (TS2-Net), a novel token shift and selection transformer architecture, which dynamically adjusts the token sequence and selects informative tokens in both temporal and spatial dimensions from input video samples. The token shift module temporally shifts the whole token features back-and-forth across adjacent frames, to preserve the complete token representation and capture subtle movements. Then the token selection module selects tokens that contribute most to local spatial semantics. Based on thorough experiments, the proposed TS2-Net achieves state-of-the-art performance on major text-video retrieval benchmarks, including new records on MSRVTT, VATEX, LSMDC, ActivityNet, and DiDeMo.

研究の動機と目的

• 既存のビデオエンコーダーが微細な空間的・時間的詳細（微細な動きや小さな物体など）を捉える能力に限界があることに対処すること。
• 時間的・空間的領域で動的かつ適応的な処理を可能にすることで、テキスト-ビデオ検索におけるビデオトークンの表現を向上させること。
• 固定アーキテクチャや事前学習済みバックボーンに依存せずに、局所的な意味を強化するビデオエンコーダーを設計すること。
• MSRVTT、VATEX、LSMDC、ActivityNet、DiDeMo などの複数のベンチマークで最先端の性能を達成すること。

提案手法

• 隣接するフレーム間で全体的な空間的トークン特徴を交換するトークンシフトモジュールを導入し、完全な表現を保持するとともに局所的な動きを捉える。
• [CLS]トークンとの相関関係および空間的・時間的文脈に基づいて、上位-K 個の情報量の多いトークンを特定・保持するトークン選択モジュールを採用する。
• 学習可能な選択ネットワークを用いてトークンの重要度を推定し、局所的な空間的意味と顕著な視覚的エンティティに焦点を当てる。
• フレーム単位の類似度集約を適用し、テキストとビデオ表現を微細なレベルで一致させる。
• テキストとビデオ埋め込みを共通空間に一致させるために、ビデオ言語対照学習を最適化に用いる。
• 系列の整合性を保ちつつ、動的トークン操作を可能にするために、標準的なトランスフォーマー・アーキテクチャを変更する。

実験結果

リサーチクエスチョン

• RQ1 フレーム間での動的トークンシフトは、ビデオ表現における微細な時間的動きのモデリングを改善できるか？
• RQ2 空間的・時間的トークンに対する選択的注意は、テキスト-ビデオ検索における小さな視覚的オブジェクトや顕著なオブジェクトの認識を向上させられるか？
• RQ3 トークンシフトと選択を組み合わせることで、多様なテキスト-ビデオ検索ベンチマークで一貫した性能向上が得られるか？
• RQ4 CLIP4Clip や QB-Norm といった強力なベースラインと比較して、TS2-Net は微細な視覚的および運動的キューをどのように処理するか？
• RQ5 提案手法は、視覚的複雑性やクエリタイプが異なるデータセット間でどの程度一般化可能か？

主な発見

• TS2-Net は、MSRVTT、VATEX、LSMDC、ActivityNet-Caption、DiDeMo で新たな最先端性能を達成し、VATEX では R@1 で最大 1.5% 向上、LSMDC では MeanR で最大 1.5% 向上した。
• 小さなオブジェクトや微細な動きに注目する 103 クエリを含む MSR-VTT の困難なサブセットでは、TS2-Net は R@1 79.6 を達成し、CLIP4Clip の 39.8 より顕著に優れた性能を示した。
• アブレーションスタディの結果、トークンシフトおよびトークン選択モジュールがそれぞれ独立して検索精度を向上させることを確認し、両者の個別貢献が裏付けられた。
• 推論時に逆ソフトマックスを使用しない状態でも、TS2-Net は VATEX および LSMDC で QB-Norm を上回った。これは、より強い内在的表現学習能力を示している。
• 定性的な結果から、モデルは 'マイク' のような小さなオブジェクトや '会話' や '手を擦る' のような微細な行動を含む動画を正しく検索していることが確認された。
• 複雑なキャプションや長時間の動画を含む多様なデータセットにおいて、モデルは強固な一般化性能を示した。