[论文解读] Dense Regression Network for Video Grounding

Runhao Zeng, Haoming Xu+4 more|arXiv (Cornell University)|Apr 7, 2020

Multimodal Machine Learning Applications参考文献 49被引用 15

一句话总结

该论文提出了一种单阶段密集回归网络（DRN）用于视频定位，通过回归每个帧到真实起止边界距离的方式，从稀疏标注中获取密集监督。通过将真实片段内的所有帧作为正样本进行训练，并引入IoU回归头以提升定位质量，DRN在Charades-STA、ActivityNet-Captions和TACoS三个数据集上均取得了最先进性能，显著优于先前方法。

ABSTRACT

We address the problem of video grounding from natural language queries. The key challenge in this task is that one training video might only contain a few annotated starting/ending frames that can be used as positive examples for model training. Most conventional approaches directly train a binary classifier using such imbalance data, thus achieving inferior results. The key idea of this paper is to use the distances between the frame within the ground truth and the starting (ending) frame as dense supervisions to improve the video grounding accuracy. Specifically, we design a novel dense regression network (DRN) to regress the distances from each frame to the starting (ending) frame of the video segment described by the query. We also propose a simple but effective IoU regression head module to explicitly consider the localization quality of the grounding results (i.e., the IoU between the predicted location and the ground truth). Experimental results show that our approach significantly outperforms state-of-the-arts on three datasets (i.e., Charades-STA, ActivityNet-Captions, and TACoS).

研究动机与目标

• 为解决视频定位中稀疏正样本标注的问题，即每段视频仅有少数帧被标注为真实边界。
• 通过密集回归监督，将真实片段内所有帧作为正样本，提升模型训练效果。
• 通过估计预测边界与真实边界之间的IoU，显式建模定位质量。
• 开发一种单阶段、无锚点的视频定位框架，避免两阶段方法带来的计算负担和对提议质量的依赖。
• 通过多层级融合与位置嵌入策略，增强查询与视频片段之间的语义和时序对齐。

提出的方法

• 模型使用视频-查询交互模块，编码视频与自然语言查询之间的跨模态特征。
• 密集回归头预测每个帧到目标片段起始和结束边界的距离，将稀疏标注转化为密集监督。
• 语义匹配头评估每个预测时序框与查询语义的对齐程度。
• IoU回归头直接估计预测框与真实框之间的交并比（IoU），以优先提升定位精度。
• 多层级融合（MLF）在不同层级提取查询表征，并将其与视频特征融合，以改善跨模态对齐。
• 时序位置嵌入与视频特征拼接，帮助模型学习时序顺序，提升定位精度。

实验结果

研究问题

• RQ1 当仅存在稀疏标注时，对帧到边界距离进行密集回归是否能提升视频定位性能？
• RQ2 与仅依赖语义匹配相比，显式回归预测与真实框之间的IoU是否能进一步提升定位精度？
• RQ3 多层级融合在增强视频定位的跨模态表征学习方面有多有效？
• RQ4 引入时序位置嵌入在多大程度上提升了定位精度，尤其是针对包含时序关系的查询？
• RQ5 所提出的DRN在Charades-STA、ActivityNet-Captions和TACoS等多样化基准上的表现与最先进方法相比如何？

主要发现

• 所提出的DRN在Charades-STA上达到45.40% R@1（IoU=0.5），在ActivityNet-Captions上达到42.49% R@1，优于先前最先进方法。
• 与使用'中心度'或不使用IoU头相比，IoU回归头在Charades-STA上提升1.27%，在ANet-Captions上提升2.05%。
• 多层级融合（MLF）在Charades-STA上提升0.75%，在ANet-Captions上提升0.83%，证明其在表征学习中的有效性。
• 在包含时序关键词的ANet-Captions子集上进行训练和测试时，位置嵌入使性能提升1.7%，证实其在时序推理中的优势。
• 消融实验表明，移除IoU头或位置嵌入均导致性能持续下降，验证了二者在定位精度中的关键作用。
• 模型展现出强大的泛化能力，在三个基准测试中均取得最佳性能，证实了密集监督与显式定位建模的有效性。