[论文解读] Weakly-Supervised Alignment of Video With Text

Piotr Bojanowski, Rémi Lajugie+5 more|arXiv (Cornell University)|May 22, 2015

Video Analysis and Summarization参考文献 44被引用 25

一句话总结

该论文提出了一种弱监督方法，通过时间顺序约束和向量化文本表示，实现视频片段与自然语言描述的对齐。该方法将对齐问题建模为整数二次规划（IQP），并通过凸松弛与条件梯度优化求解，利用 ROOT+DOBJ 文本表示在 TACoS 数据集上实现了 65.4% 的准确率，达到当前最先进水平。

ABSTRACT

Suppose that we are given a set of videos, along with natural language descriptions in the form of multiple sentences (e.g., manual annotations, movie scripts, sport summaries etc.), and that these sentences appear in the same temporal order as their visual counterparts. We propose in this paper a method for aligning the two modalities, i.e., automatically providing a time stamp for every sentence. Given vectorial features for both video and text, we propose to cast this task as a temporal assignment problem, with an implicit linear mapping between the two feature modalities. We formulate this problem as an integer quadratic program, and solve its continuous convex relaxation using an efficient conditional gradient algorithm. Several rounding procedures are proposed to construct the final integer solution. After demonstrating significant improvements over the state of the art on the related task of aligning video with symbolic labels [7], we evaluate our method on a challenging dataset of videos with associated textual descriptions [36], using both bag-of-words and continuous representations for text.

研究动机与目标

• 解决在人工帧级标注成本高昂或不可用时，对长视频片段与自然语言描述进行对齐的挑战。
• 通过用语义有意义的自然语言监督替代符号化动作标签，提升视频理解能力。
• 开发一种利用时间顺序和视频与文本特征之间隐式线性映射的弱监督对齐方法。
• 评估连续文本表示（如词嵌入）与词袋模型在弱监督视频-文本对齐中的表现差异。
• 探究先验知识（如时长和带宽约束）在防止退化解并提升对齐准确率方面的影响。

提出的方法

• 将视频-文本对齐建模为带视频与文本特征空间隐式线性映射的整数二次规划（IQP）。
• 通过高效的条件梯度算法进行连续凸松弛求解，确保收敛性与可扩展性。
• 应用舍入过程从松弛后的连续解中恢复整数解，同时保持时间顺序约束。
• 引入两种先验：时长先验（高斯分布）和带宽先验（时间路径约束），以避免退化对齐。
• 使用连续文本表示（如词嵌入，例如 W2V、VNA、UKWAC）和词袋池化（如 ROOT、ROOT+DOBJ）作为文本特征。
• 采用基于判别性损失函数的判别性聚类框架，该框架源自弱监督视频标注的先前工作。

实验结果

研究问题

• RQ1 仅利用句子的时间顺序和向量化文本特征，弱监督方法能否实现准确的视频-文本对齐？
• RQ2 在弱监督视频-文本对齐中，连续文本表示与词袋模型相比表现如何？
• RQ3 时长和带宽等先验约束在多大程度上能提升对齐性能并防止退化解？
• RQ4 使用部分帧级标注进行半监督微调是否能显著提升对齐准确率？
• RQ5 该方法在不同文本表示学习策略和语料规模下的鲁棒性如何？

主要发现

• 在半监督设置下，使用 ROOT+DOBJ 文本表示，该方法在 TACoS 数据集上实现了 65.4% 的对齐准确率，显著优于对角线基线（35.2%）和先前工作 [7]（39.0%）。
• 时长先验将性能从 σ 为无穷大时的 0.441 提升至 σ 经仔细调优后的 0.475，表明其在避免退化解方面具有关键作用。
• 带宽先验在 β = 0.1 且 α ≈ 10 时表现最优，当 α 过大时性能趋于平坦，表明路径约束过严。
• 在 TACoS 语料上预训练的连续文本表示优于在更大语料（如 UKWAC 和 Google News）上预训练的表示，表明领域特定预训练具有优势。
• 表现最佳的词袋模型仅使用动词，表明在缺乏足够监督时，更丰富的表示可能误导弱监督模型。
• 使用一半数据的时间戳进行半监督训练，性能从无监督时的 48.7% 提升至 65.4%（使用 ROOT+DOBJ），证实了部分监督的价值。