[论文解读] Activitynet 2019 Task 3: Exploring Contexts for Dense Captioning Events in Videos

Shizhe Chen, Yuqing Song+6 more|arXiv (Cornell University)|Jul 11, 2019

Multimodal Machine Learning Applications参考文献 10被引用 9

一句话总结

本文系统评估了五种上下文类型——片段级、局部、全局、事件和句子上下文——在密集视频字幕生成中的表现。提出了事件内和事件间字幕生成模型，其中事件内模型通过有效利用局部和全局上下文，在ActivityNet 2019挑战赛中实现了最先进性能（9.91 METEOR），而事件间模型虽在速度上有所损失且准确率略有下降，但显著提升了字幕多样性。

ABSTRACT

Contextual reasoning is essential to understand events in long untrimmed videos. In this work, we systematically explore different captioning models with various contexts for the dense-captioning events in video task, which aims to generate captions for different events in the untrimmed video. We propose five types of contexts as well as two categories of event captioning models, and evaluate their contributions for event captioning from both accuracy and diversity aspects. The proposed captioning models are plugged into our pipeline system for the dense video captioning challenge. The overall system achieves the state-of-the-art performance on the dense-captioning events in video task with 9.91 METEOR score on the challenge testing set.

研究动机与目标

• 系统评估不同上下文信息类型对密集视频字幕生成性能的贡献。
• 解决传统视频字幕模型缺乏上下文感知能力导致的准确率与多样性不足的问题。
• 从准确率与多样性两个方面，比较事件内与事件间字幕生成模型在事件描述生成中的表现。
• 针对ActivityNet 2019挑战赛优化密集视频字幕生成流程，重点关注基于METEOR的评估指标。
• 识别在未剪辑视频中生成准确且多样化的事件字幕时，最有效的上下文类型与建模策略。

提出的方法

• 提出五种不同的上下文类型：片段级、局部、全局、事件和句子上下文，每种均旨在增强事件表征。
• 设计两类字幕生成模型：事件内模型（每个事件独立处理）与事件间模型（依赖其他事件），支持并行处理与上下文感知生成。
• 采用基于LSTM的特征编码，将全局视频上下文隐式融入片段级特征中。
• 在目标事件周围整合局部时间区域作为上下文，以提供前因与后果，提升理解能力。
• 利用两阶段框架生成事件提议：首先生成事件提议，随后进行上下文感知的字幕生成。
• 在训练过程中应用强化学习与数据增强，以提升字幕质量与鲁棒性。

实验结果

研究问题

• RQ1 局部、全局、事件、句子和片段级等不同类型的上下文，如何影响密集视频字幕生成的准确率与多样性？
• RQ2 在METEOR分数与字幕多样性方面，事件内模型与事件间模型的相对表现如何？
• RQ3 与仅依赖视觉上下文相比，引入句子上下文在多大程度上提升了字幕的连贯性与多样性？
• RQ4 全局上下文是否能提升字幕生成性能，还是反而因引入无关信息而降低多样性？
• RQ5 如强化学习与数据增强等训练策略，对ActivityNet基准上最终字幕生成性能有何影响？

主要发现

• 结合局部与全局上下文的事件内模型在测试集上达到最高的METEOR分数9.91，确立了最先进性能。
• 事件间模型生成的字幕显著比事件内模型更具多样性，尤其在SelfB2与RE2指标上表现突出，表明其能更好地区分相似提议。
• 局部上下文与片段级特征在准确率与多样性方面均带来最一致的提升，而全局上下文因引入无关信息，轻微降低了多样性。
• 句子上下文提升了字幕连贯性，但效果不如事件上下文，且由于其序列依赖性，增加了训练与推理时间。
• 强化学习与数据增强带来了可测量的性能提升，METEOR分数从12.10（交叉熵）提升至14.29（同时使用两种技术）。
• 提议重排序与字幕重排序进一步提升了性能，其中字幕重排序在扩大后的训练集上达到12.24 METEOR，证明了集成建模的优势。