[论文解读] LaT: Latent Translation with Cycle-Consistency for Video-Text Retrieval

Jinbin Bai, Chunhui Liu+5 more|arXiv (Cornell University)|Jul 11, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出 LaT，一种具有循环一致性的潜在翻译框架，用于在不依赖共享联合嵌入空间的情况下弥合视频-文本检索中的模态差距。通过使用可学习的查询引导解码器，在视觉和文本潜在空间之间学习双向翻译，并强制执行循环一致性，LaT 比联合空间方法更好地保留了模态内信息，在 MSR-VTT、MSVD 和 DiDeMo 数据集上实现了最先进性能。

ABSTRACT

Video-text retrieval is a class of cross-modal representation learning problems, where the goal is to select the video which corresponds to the text query between a given text query and a pool of candidate videos. The contrastive paradigm of vision-language pretraining has shown promising success with large-scale datasets and unified transformer architecture, and demonstrated the power of a joint latent space. Despite this, the intrinsic divergence between the visual domain and textual domain is still far from being eliminated, and projecting different modalities into a joint latent space might result in the distorting of the information inside the single modality. To overcome the above issue, we present a novel mechanism for learning the translation relationship from a source modality space $\mathcal{S}$ to a target modality space $\mathcal{T}$ without the need for a joint latent space, which bridges the gap between visual and textual domains. Furthermore, to keep cycle consistency between translations, we adopt a cycle loss involving both forward translations from $\mathcal{S}$ to the predicted target space $\mathcal{T'}$, and backward translations from $\mathcal{T'}$ back to $\mathcal{S}$. Extensive experiments conducted on MSR-VTT, MSVD, and DiDeMo datasets demonstrate the superiority and effectiveness of our LaT approach compared with vanilla state-of-the-art methods.

研究动机与目标

• 解决视频-文本检索中视觉与文本领域之间的固有模态差距。
• 缓解将不同模态投影到共享联合潜在空间时引起的模态内信息失真。
• 在不依赖统一嵌入空间的前提下，学习视觉与文本潜在空间之间的鲁棒翻译机制。
• 通过在双向翻译中强制执行循环一致性，提升对齐性和特征保真度。
• 通过保留模态特定的表示，实现更优的跨模态检索性能。

提出的方法

• 提出双解码器架构，利用可学习的查询参数 $Q_G$ 和 $Q_F$ 在视觉与文本潜在空间之间进行翻译。
• 引入前向翻译 $G: \mathcal{S} \to \mathcal{T}'$ 和反向翻译 $F: \mathcal{T}' \to \mathcal{S}$，以实现跨模态映射。
• 通过约束 $v \approx G(F(v))$ 和 $t \approx F(G(t))$ 强制执行循环一致性，确保双重翻译后的稳定性。
• 使用循环损失优化前向与反向翻译路径，提升对齐性并减少分布偏移。
• 采用对比学习并结合 CLIP 风格的预训练，但将联合空间投影替换为模态特定的翻译。
• 利用降维后的可视化和余弦相似度分析，验证了改进的模态融合效果。

实验结果

研究问题

• RQ1 是否可以在避免共享潜在空间的同时，仍实现在视频-文本检索中的强跨模态对齐？
• RQ2 与共享空间中的标准对比学习相比，循环一致的潜在翻译是否能更好地保留模态内信息？
• RQ3 可学习的查询引导解码器是否能提升视觉与语言之间跨模态翻译的保真度？
• RQ4 在标准基准测试中，该方法与最先进基线相比，检索准确率如何？
• RQ5 循环一致性对减小模态差距及提升检索性能有何影响？

主要发现

• LaT 在 MSR-VTT、MSVD 和 DiDeMo 数据集上实现了最先进性能，优于基线最先进方法。
• 在翻译空间中，匹配的图像-文本对之间的余弦相似度（GT 和 FV）始终高于原始空间，表明对齐性更好。
• 同一语义概念（如 'Apple'）的翻译嵌入之间的余弦相似度显著高于不同概念之间，证实了有效的融合。
• 图 4 的可视化显示，LaT 比 CLIP 更好地融合了文本与视觉嵌入，匹配对的聚类更紧密。
• 该方法减小了模态差距，表现为翻译后文本描述与对应图像之间的相似度更高（例如，'Running man' 的相似度为 0.58，而 CLIP 为 0.27）。
• 循环一致性损失提升了翻译保真度，表现为双重翻译后原始嵌入的重建保持一致。