[论文解读] DiffusionVMR: Diffusion Model for Joint Video Moment Retrieval and Highlight Detection

Henghao Zhao, Kevin Qinghong Lin+2 more|arXiv (Cornell University)|Aug 29, 2023

Video Analysis and SummarizationComputer Science被引用 3

一句话总结

本文提出 DiffusionVMR，一种无需提议的视频瞬间检索框架，将瞬间定位建模为使用扩散模型的条件去噪生成过程。通过从噪声中采样随机时间跨度，并通过去噪学习逐步优化，该方法在 QVHighlight、Charades-STA 和 TACoS 基准上实现了最先进性能，优于先前方法，同时支持任意候选采样的灵活推理。

ABSTRACT

Video moment retrieval and highlight detection have received attention in the current era of video content proliferation, aiming to localize moments and estimate clip relevances based on user-specific queries. Given that the video content is continuous in time, there is often a lack of clear boundaries between temporal events in a video. This boundary ambiguity makes it challenging for the model to learn text-video clip correspondences, resulting in the subpar performance of existing methods in predicting target segments. To alleviate this problem, we propose to solve the two tasks jointly from the perspective of denoising generation. Moreover, the target boundary can be localized clearly by iterative refinement from coarse to fine. Specifically, a novel framework, DiffusionVMR, is proposed to redefine the two tasks as a unified conditional denoising generation process by combining the diffusion model. During training, Gaussian noise is added to corrupt the ground truth, with noisy candidates produced as input. The model is trained to reverse this noise addition process. In the inference phase, DiffusionVMR initiates directly from Gaussian noise and progressively refines the proposals from the noise to the meaningful output. Notably, the proposed DiffusionVMR inherits the advantages of diffusion models that allow for iteratively refined results during inference, enhancing the boundary transition from coarse to fine. Furthermore, the training and inference of DiffusionVMR are decoupled. An arbitrary setting can be used in DiffusionVMR during inference without consistency with the training phase. Extensive experiments conducted on five widely-used benchmarks (i.e., QVHighlight, Charades-STA, TACoS, YouTubeHighlights and TVSum) across two tasks (moment retrieval and/or highlight detection) demonstrate the effectiveness and flexibility of the proposed DiffusionVMR.

研究动机与目标

• 为解决基于提议的视频瞬间检索方法的局限性，这些方法因人工或基于网络的提议生成而缺乏灵活性且计算成本高昂。
• 通过将任务重新表述为去噪生成过程，探索扩散模型在视频瞬间检索中的潜力。
• 开发一种将训练与推理解耦的框架，使推理期间可使用任意数量的随机时间跨度，而无需与训练保持一致。
• 通过在去噪学习设置中利用跨模态交互和多组件损失函数，提升性能与泛化能力。

提出的方法

• 该框架采用带有自注意力模块的跨模态编码器，以建模文本查询与视频特征之间的交互。
• 一个具有多层级联的去噪解码器，通过基于去噪特征更新起始与结束位置，逐步优化噪声时间跨度。
• 在训练过程中，向真实时间跨度添加高斯噪声，模型学习逆转此过程以重建原始时刻。
• 模型使用多组件损失：$\mathcal{L}_{span}$ 用于跨度准确率，$\mathcal{L}_{salience}$ 用于跨模态对齐，$\mathcal{L}_{class}$ 用于前景-背景区分，$\mathcal{L}_{contra}$ 用于对比学习。
• 推理过程涉及从噪声中采样多个随机时间跨度，并迭代应用学习到的去噪过程以优化预测结果。
• 训练策略逐步增加提议数量，以稳定二分匹配并改善优化。

实验结果

研究问题

• RQ1 通过将任务表述为去噪生成任务，扩散模型能否被有效适配于视频瞬间检索？
• RQ2 与传统基于提议的方法相比，无提议的、从噪声到时间跨度的去噪过程在准确率和效率方面表现如何？
• RQ3 不同损失组件对模型性能与泛化能力的影响是什么？
• RQ4 训练与推理的解耦如何实现推理期间的灵活采样，同时不损害性能？
• RQ5 对噪声时间跨度进行渐进式优化，是否能比端到端回归或固定查询方法带来更高的定位准确率？

主要发现

• DiffusionVMR 在 QVHighlight 上达到最先进性能，R@1 达到 62.58%，mAP 达到 48.45%，优于先前最先进方法。
• 消融研究显示，若移除 $\mathcal{L}_{span}$ 或 $\mathcal{L}_{salience}$，性能显著下降，证实二者在跨度准确率与跨模态对齐中的关键作用。
• 使用对比损失 ($\mathcal{L}_{contra}$) 的性能增益大于使用合页损失 ($\mathcal{L}_{hinge}$)，表明其在学习判别性特征方面的有效性。
• 渐进式训练策略——逐步增加提议数量——使性能从 R@1 58.39% 提升至 59.81%，表明优化稳定性得到改善。
• 该模型在复杂查询上泛化良好，即使面对抽象或模糊的语言，也能准确检索出对应时刻，如 QVHighlight 上的定性示例所示。