[论文解读] A Survey on Natural Language Video Localization

Xinfang Liu, Xiushan Nie+3 more|arXiv (Cornell University)|Apr 1, 2021

Multimodal Machine Learning Applications参考文献 89被引用 5

一句话总结

本综述全面概述了自然语言视频定位（NLVL），将现有方法分类为监督学习与弱监督学习范式，分析其优缺点，并在标准基准上评估性能。文章强调了关键数据集、评估协议，并指出了模态对齐、效率以及对视频长度和分辨率的鲁棒性等关键挑战。

ABSTRACT

Natural language video localization (NLVL), which aims to locate a target moment from a video that semantically corresponds to a text query, is a novel and challenging task. Toward this end, in this paper, we present a comprehensive survey of the NLVL algorithms, where we first propose the pipeline of NLVL, and then categorize them into supervised and weakly-supervised methods, following by the analysis of the strengths and weaknesses of each kind of methods. Subsequently, we present the dataset, evaluation protocols and the general performance analysis. Finally, the possible perspectives are obtained by summarizing the existing methods.

研究动机与目标

• 为自然语言视频定位（NLVL）这一视频理解中的关键任务提供系统性综述。
• 将现有NLVL方法按监督学习与弱监督学习范式进行分类与分析。
• 使用标准指标在标准基准上评估最先进模型的性能。
• 识别模态对齐、计算效率以及对长视频或高分辨率视频的鲁棒性等关键挑战。
• 概述未来研究方向，以提升NLVL系统在准确性、效率和可解释性方面的表现。

提出的方法

• 提出NLVL的标准流程，包括视频与文本编码、跨模态交互，以及时刻回归或分类。
• 根据定位策略对监督方法进行分类，包括基于回归、基于分类及两阶段方法。
• 回顾利用弱标注数据（如无时刻级标注的视频-文本对）的弱监督方法。
• 引入并分析关键组件，如注意力机制、特征交互模块（例如交叉注意力、协同注意力）以及时间建模模块。
• 使用标准指标（如IoU阈值下的R@k，例如R@1, IoU=0.3, 0.5, 0.7）在ActivityNet-Captions与TGIF数据集上评估模型性能。
• 比较模型架构与训练策略，包括预训练视频与文本编码器（如I3D, BERT）的使用以及端到端训练。

实验结果

研究问题

• RQ1 监督学习与弱监督学习方法在NLVL中的设计与性能上有哪些差异？
• RQ2 哪些关键技术组件能够实现视频与自然语言之间有效的跨模态对齐？
• RQ3 当前模型在标准基准上不同IoU阈值与评估指标下的表现如何？
• RQ4 现有NLVL模型在效率、鲁棒性以及对长视频或高分辨率视频的泛化能力方面存在哪些主要局限？
• RQ5 如何提升NLVL模型在定位决策上的可解释性与特征级理解？

主要发现

• 表现最佳的监督模型CSMGA在ActivityNet-Captions数据集上，于IoU=0.5时达到87.68% R@1与59.63% R@5，表明其在中高IoU阈值下具有优异性能。
• 弱监督方法如SCN与RTBPN也取得了具有竞争力的结果，其中RTBPN在IoU=0.5时达到93.89% R@1与60.56% R@5，表明无需时刻级标注亦具潜力。
• 如FIAN与DPIN等模型在IoU=0.5时R@1超过87%，R@5超过60%，证明了先进交叉注意力与特征优化模块的有效性。
• 尽管在基准数据集上表现优异，模型在长视频长度与可变分辨率下的鲁棒性仍不足，难以满足工业部署标准。
• 效率与推理速度仍是关键瓶颈，许多模型需要大量计算资源，限制了实时应用。
• 可解释性仍较有限——多数模型使用注意力或特征融合，但缺乏对边界预测生成机制的清晰理解。