[论文解读] Boundary Proposal Network for Two-Stage Natural Language Video Localization

Shaoning Xiao, Long Chen+5 more|arXiv (Cornell University)|Mar 15, 2021

Multimodal Machine Learning Applications参考文献 35被引用 17

一句话总结

本文提出边界提议网络（BPNet），一种用于自然语言视频定位的两阶段框架，首先通过无锚点主干网络生成高质量的视频片段提议，然后利用视觉-语言融合层与匹配分数评分机制，实现提议与语言查询的精准对齐。BPNet在三个基准数据集（Charades-STA、TACoS、ActivityNet-Captions）上达到最先进性能，相较于基于锚点与无锚点的方法，通过有效建模片段级交互关系，在保持对可变长度片段适应性的同时显著提升性能。

ABSTRACT

We aim to address the problem of Natural Language Video Localization (NLVL)-localizing the video segment corresponding to a natural language description in a long and untrimmed video. State-of-the-art NLVL methods are almost in one-stage fashion, which can be typically grouped into two categories: 1) anchor-based approach: it first pre-defines a series of video segment candidates (e.g., by sliding window), and then does classification for each candidate; 2) anchor-free approach: it directly predicts the probabilities for each video frame as a boundary or intermediate frame inside the positive segment. However, both kinds of one-stage approaches have inherent drawbacks: the anchor-based approach is susceptible to the heuristic rules, further limiting the capability of handling videos with variant length. While the anchor-free approach fails to exploit the segment-level interaction thus achieving inferior results. In this paper, we propose a novel Boundary Proposal Network (BPNet), a universal two-stage framework that gets rid of the issues mentioned above. Specifically, in the first stage, BPNet utilizes an anchor-free model to generate a group of high-quality candidate video segments with their boundaries. In the second stage, a visual-language fusion layer is proposed to jointly model the multi-modal interaction between the candidate and the language query, followed by a matching score rating layer that outputs the alignment score for each candidate. We evaluate our BPNet on three challenging NLVL benchmarks (i.e., Charades-STA, TACoS and ActivityNet-Captions). Extensive experiments and ablative studies on these datasets demonstrate that the BPNet outperforms the state-of-the-art methods.

研究动机与目标

• 为解决单阶段 NLVL 方法的局限性，特别是基于锚点方法的效率低下以及无锚点方法在片段级建模能力不足的问题。
• 开发一种通用的两阶段框架，将提议生成与匹配过程解耦，实现对可变长度视频片段的适应性。
• 通过专用的视觉-语言融合层，在片段级别联合建模视觉与语言特征，提升性能。
• 通过无锚点主干网络减少冗余提议，同时保持高召回率，从而降低计算开销。
• 构建灵活可替换的流水线，使各阶段可独立升级更强模型，而无需重新训练整个系统。

提出的方法

• BPNet 采用无锚点主干网络，通过预测边界帧而非预设时间锚点，生成少量高质量的视频片段提议。
• 第一阶段输出候选片段的起始与结束边界，避免启发式规则，减少冗余。
• 引入视觉-语言融合层，建模每个候选片段与输入语言查询之间的多模态交互。
• 融合层生成联合表征，捕捉视频与语言上下文信息，实现更精确的对齐。
• 匹配分数评分层为每个提议计算相似度分数，基于联合嵌入选择最佳匹配片段。
• 该框架端到端可训练且模块化，支持用更强组件替换提议生成器或匹配模块。

实验结果

研究问题

• RQ1 两阶段框架是否能通过结合基于锚点与无锚点方法的优势，在自然语言视频定位任务中超越单阶段方法？
• RQ2 与启发式锚点设计相比，无锚点提议生成阶段是否能提升对可变长度视频片段的适应性？
• RQ3 在片段级别显式建模视觉-语言融合，是否能超越帧级别建模，进一步提升对齐性能？
• RQ4 减少提议数量在多大程度上能提升效率，同时不损失定位精度？
• RQ5 所提出的 BPNet 框架是否具备通用性与可扩展性，适用于其他视频-语言任务？

主要发现

• BPNet 在所有三个基准数据集上均达到最先进性能：Charades-STA、TACoS 与 ActivityNet-Captions，超越现有方法。
• 在 TACoS 上，BPNet 仅使用 8 个候选片段即达到 19.53% 的 mIoU，显著优于使用最多 233 个候选片段的基于锚点模型。
• 在 Charades-STA 上，BPNet 达到 38.03% 的 mIoU，较基线基于锚点模型提升 3.25%，较无锚点模型也提升 3.25%。
• 消融实验表明，视觉-语言融合层在 Charades-STA 上使性能提升 3.25 个百分点（从 34.78% 提升至 38.25% mIoU），证明其在建模片段级交互方面的有效性。
• 该框架在不同数据集上均表现稳健，尤其在 ActivityNet-Captions 上表现优异，该数据集的标注片段平均长度更长。
• 与基于锚点的方法（最多 233 个提议）相比，提议数量大幅减少至仅 8 个，证明所生成候选片段质量极高。