[论文解读] G2L: Semantically Aligned and Uniform Video Grounding via Geodesic and Game Theory

Hongxiang Li, Meng Cao+4 more|arXiv (Cornell University)|Jul 26, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

G2L 提出了一种新颖的视频定位框架，通过利用测地距离来建模视频片段之间的时序与语义相关性，并采用博弈论中的 Shapley 相互作用来解决语义上相似片段之间的歧义。该方法在三个基准数据集上优于基线对比学习方法，有效缓解了语义重叠和稀疏标注带来的问题。

ABSTRACT

The recent video grounding works attempt to introduce vanilla contrastive learning into video grounding. However, we claim that this naive solution is suboptimal. Contrastive learning requires two key properties: (1) \emph{alignment} of features of similar samples, and (2) \emph{uniformity} of the induced distribution of the normalized features on the hypersphere. Due to two annoying issues in video grounding: (1) the co-existence of some visual entities in both ground truth and other moments, \ie semantic overlapping; (2) only a few moments in the video are annotated, \ie sparse annotation dilemma, vanilla contrastive learning is unable to model the correlations between temporally distant moments and learned inconsistent video representations. Both characteristics lead to vanilla contrastive learning being unsuitable for video grounding. In this paper, we introduce Geodesic and Game Localization (G2L), a semantically aligned and uniform video grounding framework via geodesic and game theory. We quantify the correlations among moments leveraging the geodesic distance that guides the model to learn the correct cross-modal representations. Furthermore, from the novel perspective of game theory, we propose semantic Shapley interaction based on geodesic distance sampling to learn fine-grained semantic alignment in similar moments. Experiments on three benchmarks demonstrate the effectiveness of our method.

研究动机与目标

• 解决基线对比学习在视频定位中的局限性，即严格的基于时序的正负样本采样无法捕捉非相邻或重叠片段之间的语义相似性。
• 克服语义重叠问题，即视觉上相似的实体同时出现在真实标注和非真实标注片段中，导致特征表示不一致。
• 缓解稀疏标注困境，即由于缺乏监督，未标注片段被错误地与相关查询分开。
• 通过在片段图上建模跨模态与跨片段关系的测地距离，提升表示的均匀性与对齐性。
• 基于测地采样引入基于博弈论的 Shapley 相互作用模块，实现对高度相似片段的细粒度语义区分。

提出的方法

• 从视频片段构建片段图，以建模视频表示的流形结构，从而支持测地距离计算，作为语义相似性的代理度量。
• 将标准对比学习中的严格基于时序的正负样本采样替换为基于测地距离的采样方式，使图上距离更近的片段被视为语义上更对齐。
• 将视频片段与查询视为合作博弈中的参与者，计算语义 Shapley 相互作用，以量化每个组件的边际贡献，从而实现更精细的对齐。
• 设计可微分的语义 Shapley 相互作用模块，基于测地距离对视频内片段进行采样，以聚焦于语义相似片段之间的细微差异。
• 将测地距离引导的对比学习（GCL）与语义 Shapley 相互作用（SSI）模块整合到统一的训练目标中，联合优化对齐性与均匀性。
• 使用 t-SNE 可视化表明，G2L 减少了由朴素对比学习引起的表示聚类伪影（如“孤岛”现象），从而获得更均匀且语义一致的特征空间。

实验结果

研究问题

• RQ1 与标准时序距离或欧氏距离相比，片段图上的测地距离是否能更有效地捕捉时序上相距较远或重叠的视频片段之间的语义相关性？
• RQ2 将严格的基于时序的对比学习替换为基于测地距离的采样方式，对视频-文本表示的对齐性与均匀性有何影响？
• RQ3 基于博弈论的 Shapley 相互作用在多大程度上能提升视频定位中对语义相似片段的判别能力？
• RQ4 所提出的 G2L 框架是否能有效缓解语义重叠与稀疏标注在视频定位中的负面影响？
• RQ5 测地距离与 Shapley 相互作用的结合是否能在多个视频定位基准上带来一致的性能提升？

主要发现

• G2L 在三个视频定位基准数据集——ActivityNet-Captions、MSVD 和 MSVD-ASR 上达到最先进性能，显著优于基线对比学习方法。
• 与欧氏距离、时间戳或余弦距离相比，使用测地距离可将 mAP 提升最高达 5%（欧氏距离）、2%（时间戳）和 3%（余弦距离），表明其在捕捉语义结构方面的优越性。
• 语义 Shapley 相互作用模块减少了视觉上相似片段之间的混淆，t-SNE 可视化显示特征空间中“孤岛”簇现象被消除。
• G2L 通过测地路径建模未标注片段与查询之间的关系，减轻了稀疏标注导致的性能下降。
• 与基础模型相比，推理时间仅增加 3 秒，表明尽管训练复杂度因 K-NN 图与 SSI 模块而增加，G2L 框架仍具有高效性。
• 定性结果表明，G2L 能够成功定位视频中后期重新出现的事件（如“再次编织”、“第二个皮带”），而基线对比方法则无法实现此类定位。