[论文解读] Multi-granularity Correspondence Learning from Long-term Noisy Videos

Yijie Lin, Jie Zhang+4 more|arXiv (Cornell University)|Jan 30, 2024

Speech and Audio Processing被引用 4

一句话总结

该论文提出Norton，一种抗噪声的最优传输框架，统一了长时视频理解中的多粒度对应学习，通过时间最优传输、软最大对齐和故障负样本修正，同时解决粗粒度（片段-字幕）和细粒度（帧-词）的错位问题。Norton通过最小计算开销有效建模长程时间依赖，在视频检索、视频问答和动作分割基准上实现最先进性能。

ABSTRACT

Existing video-language studies mainly focus on learning short video clips, leaving long-term temporal dependencies rarely explored due to over-high computational cost of modeling long videos. To address this issue, one feasible solution is learning the correspondence between video clips and captions, which however inevitably encounters the multi-granularity noisy correspondence (MNC) problem. To be specific, MNC refers to the clip-caption misalignment (coarse-grained) and frame-word misalignment (fine-grained), hindering temporal learning and video understanding. In this paper, we propose NOise Robust Temporal Optimal traNsport (Norton) that addresses MNC in a unified optimal transport (OT) framework. In brief, Norton employs video-paragraph and clip-caption contrastive losses to capture long-term dependencies based on OT. To address coarse-grained misalignment in video-paragraph contrast, Norton filters out the irrelevant clips and captions through an alignable prompt bucket and realigns asynchronous clip-caption pairs based on transport distance. To address the fine-grained misalignment, Norton incorporates a soft-maximum operator to identify crucial words and key frames. Additionally, Norton exploits the potential faulty negative samples in clip-caption contrast by rectifying the alignment target with OT assignment to ensure precise temporal modeling. Extensive experiments on video retrieval, videoQA, and action segmentation verify the effectiveness of our method. Code is available at https://lin-yijie.github.io/projects/Norton.

研究动机与目标

• 为解决长时视频理解中多粒度噪声对应（MNC）的挑战，其中片段-字幕和帧-词对经常错位。
• 通过避免直接建模整个长视频，降低学习长程时间依赖的计算成本。
• 通过联合处理视频-文本对齐中的粗粒度（异步和无关错位）和细粒度（部分相关）噪声，提升视频表示学习。
• 通过基于最优传输的重新分配，利用片段-字幕对比学习中潜在的故障负样本，提升时间建模精度。
• 将粗粒度与细粒度对齐统一于单一最优传输框架中，实现可扩展且鲁棒的视频-语言预训练。

提出的方法

• Norton采用基于最优传输（OT）的视频-段落对比损失，衡量视频片段与自然语言段落之间的序列级距离，实现对长程时间对齐的鲁棒性。
• 引入可对齐提示桶（APB）以过滤无关片段和字幕，并利用传输距离重新对齐异步对，减少粗粒度错位。
• 应用标记级软最大运算符，识别片段-字幕对中的关键词和关键帧，通过log-sum-exp近似提升细粒度相似性度量。
• 利用最优传输在片段与字幕之间分配对齐目标，修正故障负样本，确保片段-字幕对比学习中精确的时间建模。
• 在统一的OT优化框架中整合视频-段落和片段-字幕对比损失，实现多粒度对应端到端学习。
• 模型采用带单层分类头的视觉编码器进行动作分割，并在视频检索和视频问答任务中应用标准评估协议。

实验结果

研究问题

• RQ1 如何利用最优传输联合解决长视频-语言学习中粗粒度与细粒度的错位问题？
• RQ2 可对齐提示桶在存在噪声片段-字幕对应的情况下，能在多大程度上提升视频-段落检索的鲁棒性？
• RQ3 软最大运算符是否能通过聚焦显著视觉与文本元素，改善细粒度帧-词对齐？
• RQ4 通过最优传输分配利用故障负样本，如何增强长视频中片段-字幕对比学习的效果？
• RQ5 不同超参数设置（如log-sum-exp中的α，APB中的p）对多粒度对应学习整体性能有何影响？

主要发现

• Norton在视频检索任务中达到最先进性能，视频-段落检索的R@1为76.1%，R@5为95.0%，优于先前方法如TempCLR和VideoCLIP。
• 在YouCookII数据集的动作分割任务中，Norton实现75.2%的帧级准确率，较最佳基线（VideoCLIP）高出1.5个百分点。
• 消融实验表明，引入故障负样本利用策略使R@1提升1.4%相较于基线，证明其在噪声环境下的有效性。
• 使用软最大运算符且α=1时性能最佳，较平均基线提升0.3%的R@1，验证其在细粒度对齐中的作用。
• 采用p=30%（底部30%相似度阈值）的可对齐提示桶表现最佳，在含背景的视频-段落检索中使R@1相较基线提升0.9%。
• 完整Norton模型（J）在片段-字幕检索中实现24.2%的R@1和51.9%的R@5，所有评估指标均保持一致增益。