[论文解读] Support-Set Based Cross-Supervision for Video Grounding

Xinpeng Ding, Nannan Wang+6 more|arXiv (Cornell University)|Aug 24, 2021

Multimodal Machine Learning Applications参考文献 52被引用 7

一句话总结

本文提出了一种基于支持集的交叉监督（Sscs）模块，通过在共享特征空间中联合优化对比学习与字幕生成目标，提升了视频定位性能。通过利用支持集聚合整个视频的视觉线索，Sscs缓解了正样本与背景片段之间视觉实体的相互排斥问题，显著增强了多模态表征学习能力，且不增加推理成本。该方法在Charades-STA数据集上将最先进模型的R1@0.5指标最高提升了6.35%。

ABSTRACT

Current approaches for video grounding propose kinds of complex architectures to capture the video-text relations, and have achieved impressive improvements. However, it is hard to learn the complicated multi-modal relations by only architecture designing in fact. In this paper, we introduce a novel Support-set Based Cross-Supervision (Sscs) module which can improve existing methods during training phase without extra inference cost. The proposed Sscs module contains two main components, i.e., discriminative contrastive objective and generative caption objective. The contrastive objective aims to learn effective representations by contrastive learning, while the caption objective can train a powerful video encoder supervised by texts. Due to the co-existence of some visual entities in both ground-truth and background intervals, i.e., mutual exclusion, naively contrastive learning is unsuitable to video grounding. We address the problem by boosting the cross-supervision with the support-set concept, which collects visual information from the whole video and eliminates the mutual exclusion of entities. Combined with the original objectives, Sscs can enhance the abilities of multi-modal relation modeling for existing approaches. We extensively evaluate Sscs on three challenging datasets, and show that our method can improve current state-of-the-art methods by large margins, especially 6.35% in terms of R1@0.5 on Charades-STA.

研究动机与目标

• 为解决现有视频定位模型在学习复杂视频-文本关系时因架构复杂设计带来的局限性。
• 在训练过程中提升多模态表征学习能力，且不增加推理成本。
• 解决对比学习中的相互排斥问题，即正样本与背景片段之间共享的视觉实体被意外抑制。
• 通过基于支持集聚合的新型交叉监督机制，增强视频与文本之间的相关性建模。
• 在仅进行最小架构修改的前提下，证明所提出的Sscs模块在多个基准数据集上的有效性。

提出的方法

• Sscs模块引入了一种基于infoNCE损失的判别性对比学习目标，将语义相关的视频-文本对嵌入在共享特征空间中拉近。
• 引入生成式字幕目标，利用文本描述监督视频编码器，从而提升视频表征质量。
• 从整个视频构建支持集，以捕捉全局视觉上下文，减少前景与背景区间之间视觉实体的相互排斥。
• 支持集聚合所有片段的视觉特征，使模型能够保留对定位至关重要的共享视觉线索（如人物、玻璃杯等）。
• Sscs模块作为训练阶段的辅助分支实现，对推理速度和模型架构无任何影响。
• 该方法与现有视频定位模型兼容，可轻松集成至最先进主干网络（如2D-TAN和LGI）中。

实验结果

研究问题

• RQ1 交叉监督模块是否能在不增加推理成本的前提下，提升视频定位中的多模态关系学习能力？
• RQ2 在视频定位的对比学习中，如何缓解正样本与背景片段之间视觉实体的相互排斥问题？
• RQ3 基于支持集的视觉特征聚合是否能增强视频-文本表征学习的泛化性与鲁棒性？
• RQ4 Sscs在多样化数据集上对最先进视频定位模型的性能提升程度如何？
• RQ5 为何Sscs在2D-TAN上取得的增益大于LGI？数据集复杂度如何影响性能提升？

主要发现

• 在Charades-STA数据集上，Sscs使2D-TAN在R1@0.5指标上提升了6.35%，为所有评估方法中最大增益。
• 在TACoS数据集上，Sscs使2D-TAN在R1@0.5指标上提升了4.24%，表明在不同数据集上均具有一致性提升。
• 在ActivityNet-Captions数据集上，Sscs在R1@0.5指标上实现了2.16%的提升，表明在更复杂多样的数据集上增益较小。
• 相似性矩阵显示，Sscs即使在非同一样本的视频-文本对之间也能捕捉语义关联，而基线模型与GTC则不具备此能力。
• 定性分析表明，与基线模型相比，Sscs能预测更准确、更短且居中分布的时间区间，而基线模型倾向于偏好视频早期片段。
• 消融实验验证了支持集机制对减少相互排斥及提升交叉监督有效性至关重要。