[论文解读] DiffusionRet: Generative Text-Video Retrieval with Diffusion Model

Peng Jin, Hao Li+6 more|arXiv (Cornell University)|Mar 17, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

DiffusionRet 提出了一种新颖的生成式文本-视频检索框架，通过使用扩散模型建模联合概率分布 $p(\text{candidates}, \text{query})$，实现了高检索准确率并具备强大的域外数据泛化能力。通过结合生成损失与对比学习，它在五个基准测试中均达到最先进性能，同时展现出卓越的零样本迁移能力。

ABSTRACT

Existing text-video retrieval solutions are, in essence, discriminant models focused on maximizing the conditional likelihood, i.e., p(candidates|query). While straightforward, this de facto paradigm overlooks the underlying data distribution p(query), which makes it challenging to identify out-of-distribution data. To address this limitation, we creatively tackle this task from a generative viewpoint and model the correlation between the text and the video as their joint probability p(candidates,query). This is accomplished through a diffusion-based text-video retrieval framework (DiffusionRet), which models the retrieval task as a process of gradually generating joint distribution from noise. During training, DiffusionRet is optimized from both the generation and discrimination perspectives, with the generator being optimized by generation loss and the feature extractor trained with contrastive loss. In this way, DiffusionRet cleverly leverages the strengths of both generative and discriminative methods. Extensive experiments on five commonly used text-video retrieval benchmarks, including MSRVTT, LSMDC, MSVD, ActivityNet Captions, and DiDeMo, with superior performances, justify the efficacy of our method. More encouragingly, without any modification, DiffusionRet even performs well in out-domain retrieval settings. We believe this work brings fundamental insights into the related fields. Code is available at https://github.com/jpthu17/DiffusionRet.

研究动机与目标

• 为解决判别式模型在文本-视频检索中的局限性，即无法建模底层数据分布 $p(\text{query})$ 且在分布外数据上泛化能力差的问题。
• 探索一种生成式范式用于文本-视频检索，通过捕捉联合分布 $p(\text{candidates}, \text{query})$ 以提升泛化能力与迁移性能。
• 利用扩散模型的粗粒度到细粒度、迭代优化的特性，实现文本与视频之间相关性的渐进式学习。
• 开发一种在不修改架构的前提下，同时在域内与域外设置中保持高性能的检索框架。
• 证明生成式建模在跨模态检索任务中，可在准确率与泛化能力方面超越判别式方法。

提出的方法

• 该框架将文本-视频检索建模为一个扩散过程，逐步从噪声中生成联合概率分布 $p(\text{candidates}, \text{query})$。
• 采用带有去噪 U-Net 架构的扩散模型，迭代优化联合分布表征。
• 通过 Kullback-Leibler 散度损失优化生成器，以提升生成质量。
• 通过对比损失（InfoNCE）联合训练特征提取器，以增强判别性表征学习。
• 结合生成式与判别式目标，平衡联合分布建模与特征对齐。
• 框架使用标准 Transformer 编码器进行特征提取，提升效率与可扩展性。

实验结果

研究问题

• RQ1 与建模条件分布 $p(\text{candidates}|\text{query})$ 相比，建模联合概率分布 $p(\text{candidates}, \text{query})$ 是否能提升文本-视频检索中的泛化能力？
• RQ2 扩散模型的粗粒度到细粒度、迭代优化过程是否能增强检索任务中的跨模态相关性学习？
• RQ3 像 DiffusionRet 这类生成式框架是否能在无需微调或架构修改的情况下，保持在域外检索中的强性能？
• RQ4 生成式与判别式训练目标的结合如何影响检索性能与鲁棒性？
• RQ5 与自回归或 GAN 基的生成模型相比，基于扩散的方法在检索任务中是否更具可扩展性与适应性？

主要发现

• DiffusionRet 在五个标准基准测试（MSRVTT、LSMDC、MSVD、ActivityNet Captions 和 DiDeMo）上均达到最先进性能。
• 在域外检索中，DiffusionRet 超过 CLIP4Clip 和 EMCL-Net 等判别式基线模型，展现出更优的零样本泛化能力。
• 该方法在多种数据集上均保持高性能，表明其具备强大的迁移能力与对领域偏移的鲁棒性。
• 可视化结果表明，DiffusionRet 在域内与域外设置中均能清晰区分正样本对与负样本对。
• 迭代扩散过程逐步优化联合分布，以粗到细的方式揭示了文本与视频之间的语义相关性。
• 该框架具有高度可扩展性，通过增加扩散步数即可实现性能提升，且计算开销极低。