[论文解读] LGDN: Language-Guided Denoising Network for Video-Language Modeling

Haoyu Lu, Mingyu Ding+3 more|arXiv (Cornell University)|Sep 23, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出LGDN，一种语言引导的去噪网络，通过语言监督动态过滤掉噪声或无关的视频帧，仅保留每段视频2–4个显著帧，以实现精确的令牌级跨模态对齐。通过将显著帧提议（SFP）机制与基于动量的对比学习及令牌感知注意力相结合，LGDN在五个视频-语言基准上实现了最先进性能，且计算成本显著降低。

ABSTRACT

Video-language modeling has attracted much attention with the rapid growth of web videos. Most existing methods assume that the video frames and text description are semantically correlated, and focus on video-language modeling at video level. However, this hypothesis often fails for two reasons: (1) With the rich semantics of video contents, it is difficult to cover all frames with a single video-level description; (2) A raw video typically has noisy/meaningless information (e.g., scenery shot, transition or teaser). Although a number of recent works deploy attention mechanism to alleviate this problem, the irrelevant/noisy information still makes it very difficult to address. To overcome such challenge, we thus propose an efficient and effective model, termed Language-Guided Denoising Network (LGDN), for video-language modeling. Different from most existing methods that utilize all extracted video frames, LGDN dynamically filters out the misaligned or redundant frames under the language supervision and obtains only 2--4 salient frames per video for cross-modal token-level alignment. Extensive experiments on five public datasets show that our LGDN outperforms the state-of-the-arts by large margins. We also provide detailed ablation study to reveal the critical importance of solving the noise issue, in hope of inspiring future video-language work.

研究动机与目标

• 为解决视频-语言建模中噪声和错位视频帧的问题，这些问题会损害跨模态对齐。
• 通过在语言监督下动态识别仅语义相关的帧，克服密集采样和稀疏采样策略的局限性。
• 通过聚焦显著帧并减少计算开销，实现有效的令牌级跨模态对齐。
• 通过整合帧级与视频级对比学习及语言引导过滤的新型框架，提升视频-语言建模性能。
• 证明通过过滤无关帧可带来显著性能提升，且无需增加模型规模。

提出的方法

• 提出一种显著帧提议（SFP）机制，利用四种语言监督策略估算帧级相关性得分，以每段视频仅识别2–4个显著帧。
• 引入基于动量的帧级多显著实例学习与对比学习（MFCL）模块，通过动量编码器增强帧级表征学习。
• 采用基于动量的视频级对比学习（MVCL）模块，通过动量更新稳定视频级表征学习。
• 使用语言引导的显著帧匹配（LSFM）模块，结合令牌感知交叉注意力，实现在令牌级别的细粒度跨模态对齐。
• 将SFP机制与两阶段采样策略结合：先进行均匀帧采样，再进行语言引导过滤。
• 利用多种相关性得分估计器（如SimDot、Momentum、CrossMom、Collaborative）基于文本-视频一致性优化帧选择。

实验结果

研究问题

• RQ1 语言监督能否有效识别并过滤噪声或无关视频帧，从而提升视频-语言建模性能？
• RQ2 在每段视频仅保留2–4个显著帧的前提下，是否能优于使用全部帧或稀疏采样帧的性能？
• RQ3 在存在噪声数据的情况下，帧级与视频级的动量对比学习集成如何提升表征学习？
• RQ4 所提出的SFP机制在不同帧采样策略（如稀疏、随机、均匀）下具有多大程度的泛化能力？
• RQ5 所提出的框架是否能在不依赖更大模型容量的前提下实现最先进性能？

主要发现

• LGDN在五个公开的视频-语言数据集上优于最先进方法，在MSR-VTT 1kA数据集上达到181.1 R@SUM，超越先前最先进模型。
• SFP机制在不同帧采样策略（包括稀疏、随机和均匀采样）下均显著提升性能，证明其泛化能力。
• 协作相关性得分估计器（结合Momentum与CrossMom）表现最佳，表明基于动量的估计可增强帧相关性预测。
• 即使不使用融合层，LGDN（全局）仍达到164.6 R@SUM，优于参数量达1.8亿的Frozen in Time模型，表明性能提升并非源于模型规模。
• 可视化结果证实，SFP机制能正确识别并过滤噪声帧（如转场、无关场景），同时保留语义对齐的帧。
• 消融实验表明，SFP与随机采样之间存在显著性能差距，证明动态帧过滤在降低视频-语言建模噪声中的关键作用。