[論文レビュー] LaT: Latent Translation with Cycle-Consistency for Video-Text Retrieval

Jinbin Bai, Chunhui Liu+5 more|arXiv (Cornell University)|Jul 11, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、共通の統合埋め込み空間に依存せずに、ビデオ・テキスト検索におけるモダリティギャップを埋めるために、サイクル整合性を備えた潜在翻訳フレームワーク、LaTを提案する。可視的および言語的潜在空間間の双方向翻訳を、学習可能なクエリガイドドデコーダーを用いて学習し、サイクル整合性を強制することで、統合空間手法に比べてモダリティ内情報の保持をより良く実現し、MSR-VTT、MSVD、DiDeMoで最先端の性能を達成した。

ABSTRACT

Video-text retrieval is a class of cross-modal representation learning problems, where the goal is to select the video which corresponds to the text query between a given text query and a pool of candidate videos. The contrastive paradigm of vision-language pretraining has shown promising success with large-scale datasets and unified transformer architecture, and demonstrated the power of a joint latent space. Despite this, the intrinsic divergence between the visual domain and textual domain is still far from being eliminated, and projecting different modalities into a joint latent space might result in the distorting of the information inside the single modality. To overcome the above issue, we present a novel mechanism for learning the translation relationship from a source modality space $\mathcal{S}$ to a target modality space $\mathcal{T}$ without the need for a joint latent space, which bridges the gap between visual and textual domains. Furthermore, to keep cycle consistency between translations, we adopt a cycle loss involving both forward translations from $\mathcal{S}$ to the predicted target space $\mathcal{T'}$, and backward translations from $\mathcal{T'}$ back to $\mathcal{S}$. Extensive experiments conducted on MSR-VTT, MSVD, and DiDeMo datasets demonstrate the superiority and effectiveness of our LaT approach compared with vanilla state-of-the-art methods.

研究の動機と目的

• ビデオ・テキスト検索における視覚的および言語的ドメイン間の固有のモダリティギャップに対処すること。
• 異なるモダリティを共通の統合潜在空間に投影することで生じるモダリティ内情報の歪みを軽減すること。
• 統一された埋め込み空間に依存せずに、視覚的および言語的潜在空間間の強固な翻訳メカニズムを学習すること。
• 双方向翻訳におけるサイクル整合性を強制することで、整合性と特徴の忠実度を向上させること。
• モダリティ固有の表現の保持を通じて、より良いクロスモーダル検索性能を達成すること。

提案手法

• 学習可能なクエリパラメータ $Q_G$ と $Q_F$ を用いて、視覚的および言語的潜在空間間の翻訳を可能にするデュアルデコーダー・アーキテクチャを提案する。
• 前向き翻訳 $G: \mathcal{S} \to \mathcal{T}'$ と後向き翻訳 $F: \mathcal{T}' \to \mathcal{S}$ を導入し、クロスモーダルマッピングを可能にする。
• 二重翻訳後の整合性を保つために、制約 $v \approx G(F(v))$ および $t \approx F(G(t))$ を用いてサイクル整合性を強制する。
• 両方向の翻訳経路を最適化するためのサイクル損失を用い、整合性の向上と分布シフトの低減を図る。
• CLIP風の事前学習を用いた対照学習を採用するが、統合空間への投影をモダリティ固有の翻訳に置き換える。
• 次元削減された可視化とコサイン類似度分析を活用し、向上したモダリティ統合の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 共通の潜在空間を避けることで、ビデオ・テキスト検索における強力なクロスモーダル整合性を達成できるか？
• RQ2 サイクル整合性のある潜在翻訳は、共通空間における標準的な対照学習に比べ、モダリティ内情報をより良く保持できるか？
• RQ3 学習可能なクエリガイドドデコーダーは、視覚と言語間のクロスモーダル翻訳の忠実度を向上させられるか？
• RQ4 標準ベンチマーク上で、提案手法は最先端のベースラインと比較して検索精度に優れているか？
• RQ5 サイクル整合性は、モダリティギャップの低減と検索性能の向上にどのような影響を及けるか？

主な発見

• LaTは、MSR-VTT、MSVD、DiDeMoのデータセットで最先端の性能を達成し、シンプルな最先端手法を上回った。
• 翻訳された空間（GT および FV）における一致した画像・テキストペア間のコサイン類似度は、元の空間よりも一貫して高く、より良い整合性を示している。
• 同じ意味的コンセプト（例：'Apple'）の翻訳埋め込み間のコサイン類似度は、異なるコンセプト間の類似度よりも顕著に高く、有効な統合が確認された。
• 図4の可視化では、LaTがCLIPよりもテキストおよび視覚的埋め込みをより良く統合しており、一致ペアのクラスタリングがより緊密であることが示された。
• 翻訳後のテキスト記述と対応する画像間の類似度が上昇したことで、モダリティギャップが低減されたことが裏付けられた（例：'Running man' では 0.58 に対し、CLIP では 0.27）。
• サイクル整合性損失により、二重翻訳による元の埋め込みの再構成が一貫して良好に実現され、翻訳の忠実度が向上した。