[論文レビュー] Disentangled Representation Learning for Text-Video Retrieval

Qiang Wang, Yanhao Zhang+3 more|arXiv (Cornell University)|Mar 14, 2022

Multimodal Machine Learning Applications被引用数 41

ひとこと要約

本論文はテキストと動画のクロスモダリティ相互作用を分析し、Sequentialおよび階層的表現を学習するための、Weighted Token-wise Interaction (WTI) と Channel Decorrelation Regularization (CDCR) を組み込んだ分離表現フレームワークを提案し、複数のベンチマークで最先端の結果を達成する。

ABSTRACT

Cross-modality interaction is a critical component in Text-Video Retrieval (TVR), yet there has been little examination of how different influencing factors for computing interaction affect performance. This paper first studies the interaction paradigm in depth, where we find that its computation can be split into two terms, the interaction contents at different granularity and the matching function to distinguish pairs with the same semantics. We also observe that the single-vector representation and implicit intensive function substantially hinder the optimization. Based on these findings, we propose a disentangled framework to capture a sequential and hierarchical representation. Firstly, considering the natural sequential structure in both text and video inputs, a Weighted Token-wise Interaction (WTI) module is performed to decouple the content and adaptively exploit the pair-wise correlations. This interaction can form a better disentangled manifold for sequential inputs. Secondly, we introduce a Channel DeCorrelation Regularization (CDCR) to minimize the redundancy between the components of the compared vectors, which facilitate learning a hierarchical representation. We demonstrate the effectiveness of the disentangled representation on various benchmarks, e.g., surpassing CLIP4Clip largely by +2.9%, +3.1%, +7.9%, +2.3%, +2.8% and +6.5% R@1 on the MSR-VTT, MSVD, VATEX, LSMDC, AcitivityNet, and DiDeMo, respectively.

研究の動機と目的

• 相互作用戦略がText-Video Retrieval（TVR）性能に与える影響を理解する。
• 逐次的および階層的構造をより適切に捉える分離表現フレームワークを提案する。
• 軽量でスケーラブルな相互作用モジュール（WTI）とデコレーション正則化（CDCR）を開発・評価する。
• 分離表現が複数のTVRベンチマークで性能を向上させることを示す。

提案手法

• WTI（Weighted Token-wise Interaction）を導入し、テキストトークンと動画フレーム間のペアごとの相関を動的に活用しつつ内容を分離する。
• Channel Decorrelation Regularization（CDCR）を提案し、比較ベクトルの成分間の冗長性を最小化し階層的意味論を促進する。
• 逐次的なテキストと動画特徴を e_t ∈ R^{N_t×D} および e_v ∈ R^{N_v×D} として、CLIP から初期化されたBi-Encoder構成で表現する。
• paired text-video representations に対して InfoNCE 損失で最適化し、.cross-modality decorrelation を改善するためCDCRを追加する。
• WTIとCDCRが軽量であり、より重いクロストランスフォーマー相互作用と比較して収束と推論速度を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 コンテンツの粒度とマッチング関数の選択は、Text-Video Retrieval性能にどのように影響するか。
• RQ2 トークン単位の分離型相互作用は、単一ベクトルやクロストランスフォーマー方式よりも、テキストと動画間の細粒度対応をうまく捉えられるか。
• RQ3 チャネルデコレーション正則化（CDCR）はTVRにおける階層的表現の学習を改善するか。
• RQ4 提案WTI+CDCRフレームワークの標準的なTVRベンチマークでの実証的利得はどの程度か。
• RQ5 提案手法は大規模な動画検索タスクに対してスケーラブルで効率的か。

主な発見

• WTIは、単一ベクトルおよび他の軽量パラメータ相互作用と比較してR@1を著しく改善し、特にViT-B/16と組み合わせた場合が顕著。
• CDCRは相互作用タイプを問わず一貫した性能向上を提供し、検索メトリクスを改善し階層的表現学習を支援する。
• WTIとCDCRの組み合わせは、MSR-VTT、MSVD、VATEX、LSMDC、ActivityNet、DiDeMoの6つのベンチマークで最先端または競合的な結果を達成し、R@1の顕著な改善を示す（例：+2.9%、+3.1%、+7.9%、+2.3%、+2.8%、+6.5%）。
• ViT-B/16とQB-Norm後処理を使用すると、Text-to-Videoで53.3%、Video-to-Textで56.2%のR@1を特定の設定で達成し、既存の単一モデルエントリを上回る。
• 本手法は従来の重いクロストランスフォーマー手法と比較して収束が速く、推論時間が大幅に低いことを、より多くのフレームが利用可能な場合に特に示す。