[论文解读] Cross-Sentence Temporal and Semantic Relations in Video Activity Localisation

Jiabo Huang, Yang Liu+2 more|arXiv (Cornell University)|Jul 23, 2021

Multimodal Machine Learning Applications参考文献 36被引用 9

一句话总结

本文提出跨句关系挖掘（CRM），一种弱监督视频动作定位方法，通过利用跨句时间排序和语义一致性约束，提升时序定位性能。通过建模段落级关系（如活动顺序和句间语义连贯性），CRM 减少了视频-文本对齐中的歧义，在 ActivityNet-Captions 和 Charades 数据集上实现了最先进性能，尤其在复杂描述上表现突出。

ABSTRACT

Video activity localisation has recently attained increasing attention due to its practical values in automatically localising the most salient visual segments corresponding to their language descriptions (sentences) from untrimmed and unstructured videos. For supervised model training, a temporal annotation of both the start and end time index of each video segment for a sentence (a video moment) must be given. This is not only very expensive but also sensitive to ambiguity and subjective annotation bias, a much harder task than image labelling. In this work, we develop a more accurate weakly-supervised solution by introducing Cross-Sentence Relations Mining (CRM) in video moment proposal generation and matching when only a paragraph description of activities without per-sentence temporal annotation is available. Specifically, we explore two cross-sentence relational constraints: (1) Temporal ordering and (2) semantic consistency among sentences in a paragraph description of video activities. Existing weakly-supervised techniques only consider within-sentence video segment correlations in training without considering cross-sentence paragraph context. This can mislead due to ambiguous expressions of individual sentences with visually indiscriminate video moment proposals in isolation. Experiments on two publicly available activity localisation datasets show the advantages of our approach over the state-of-the-art weakly supervised methods, especially so when the video activity descriptions become more complex.

研究动机与目标

• 解决弱监督视频动作定位中将每句话孤立处理所导致的歧义与定位不准确问题。
• 通过避免对每句话进行时间边界标注，降低标注偏差与成本，同时仍提升定位准确率。
• 在训练过程中，利用段落描述中固有的跨句关系（时间排序与语义一致性）作为监督信号。
• 通过利用多句间的上下文信息，增强模型在定位复杂或模糊查询时的鲁棒性。
• 超越现有弱监督方法，尤其在语义模糊或代词依赖的描述场景下表现更优。

提出的方法

• 引入时间一致性约束，强制模型生成的时序定位结果与段落中对应句子的时间顺序保持一致。
• 通过将成对的句子描述视为拼接查询，应用语义一致性约束，确保模型选择的视频片段与两个真实边界框的并集具有高 IoU。
• 采用多模态网络（MMN）主干网络，结合自注意力与交叉注意力机制，建模视频特征与文本嵌入之间的交互。
• 采用对比学习策略，利用跨句关系信号区分正确与错误的定位提议。
• 端到端训练模型，结合对比损失与两种关系约束（时间与语义）以指导提议选择。
• 利用注意力模块捕捉长距离依赖，提升视觉-文本对齐效果，消融实验表明适度深度可避免过拟合，达到最优性能。

实验结果

研究问题

• RQ1 段落描述中的跨句时间排序是否能提升弱监督设置下视频时序定位的准确性？
• RQ2 在成对句子间强制语义一致性是否能减少复杂或代词依赖描述的定位歧义？
• RQ3 与仅基于单句的建模相比，跨句关系约束在复杂视频描述上的定位性能如何？
• RQ4 注意力机制在捕捉视频-文本对齐中的跨句上下文信息方面贡献有多大？
• RQ5 段落级描述中的关系信号能否替代昂贵的逐句时间边界标注？

主要发现

• CRM 在 ActivityNet-Captions 与 Charades 数据集上均达到最先进性能，在 ActivityNet-Captions 上 IoU=0.5 时召回率达 68.14%，显著优于先前弱监督方法。
• 模型在复杂描述上的召回率提升超过 10%，表明跨句关系在查询模糊或依赖上下文时尤为有益。
• 实验表明，SOTA 基线模型预测的 65% 的定位对存在错误的时间顺序，凸显显式时间一致性建模的必要性。
• 语义一致性实验显示，ActivityNet-Captions 中 38% 的描述包含模糊指代（如代词），CRM 通过跨句上下文有效解决了此类问题。
• 消融实验证实，时间与语义约束均不可或缺：任一移除均导致性能显著下降，其中语义约束在复杂场景下带来的增益最大。
• 注意力机制的使用提升了性能，但堆叠过多层会导致过拟合，从而降低结果表现。