[论文解读] Bidirectional Attentive Fusion with Context Gating for Dense Video Captioning

Jingwen Wang, Wenhao Jiang+3 more|arXiv (Cornell University)|Mar 31, 2018

Multimodal Machine Learning Applications参考文献 41被引用 39

一句话总结

本文提出用于密集视频字幕的双向注意力融合与上下文门控机制，引入双向提议网络，利用过去和未来的视频上下文以改善时间定位，并提出一种上下文门控融合机制，将提议隐藏状态与C3D特征结合，生成具有区分性的事件表征。该方法在ActivityNet Captions数据集上的Meteor得分实现了100%的相对提升（从4.82提升至9.65），优于先前的最先进模型。

ABSTRACT

Dense video captioning is a newly emerging task that aims at both localizing and describing all events in a video. We identify and tackle two challenges on this task, namely, (1) how to utilize both past and future contexts for accurate event proposal predictions, and (2) how to construct informative input to the decoder for generating natural event descriptions. First, previous works predominantly generate temporal event proposals in the forward direction, which neglects future video context. We propose a bidirectional proposal method that effectively exploits both past and future contexts to make proposal predictions. Second, different events ending at (nearly) the same time are indistinguishable in the previous works, resulting in the same captions. We solve this problem by representing each event with an attentive fusion of hidden states from the proposal module and video contents (e.g., C3D features). We further propose a novel context gating mechanism to balance the contributions from the current event and its surrounding contexts dynamically. We empirically show that our attentively fused event representation is superior to the proposal hidden states or video contents alone. By coupling proposal and captioning modules into one unified framework, our model outperforms the state-of-the-arts on the ActivityNet Captions dataset with a relative gain of over 100% (Meteor score increases from 4.82 to 9.65).

研究动机与目标

• 解决密集视频字幕中单向时间建模的局限性，即在提议生成过程中忽略未来上下文。
• 通过区分在同一时间步结束的重叠事件，改进事件表征，而此前的方法未能做到这一点。
• 通过上下文门控机制动态平衡事件内容与周围上下文的贡献，从而提升字幕生成质量。
• 将提议与字幕生成模块统一为端到端可训练的框架，以提升整体性能。
• 在不依赖外部数据的情况下，实现在ActivityNet Captions数据集上的最先进性能。

提出的方法

• 提出双向SST（Bidirectional SST），一种双通道网络，通过正向和反向处理视频，同时编码过去与未来的上下文信息，用于提议预测。
• 通过注意力机制融合提议隐藏状态与C3D特征，以生成更具区分性的事件表征。
• 引入上下文门控机制，在解码过程中自适应地调节事件特征与上下文特征的贡献。
• 在推理阶段应用联合排序，基于提议得分与字幕置信度，选择高置信度的提议-字幕配对。
• 通过联合损失函数（结合提议与字幕生成目标）端到端训练整个系统。
• 在每个解码步骤中应用时间差分注意力（TDA），以增强特征表示。

实验结果

研究问题

• RQ1 对视频上下文进行双向建模是否能提升密集视频字幕中时间动作提议生成的准确性？
• RQ2 将提议隐藏状态与视频片段特征（如C3D）融合，是否能提升事件表征的区分性，特别是在重叠事件中？
• RQ3 一种能动态平衡事件特征与上下文特征的上下文门控机制，是否能生成更准确且更自然的语言描述？
• RQ4 一种联合优化提议与字幕生成的端到端框架，是否能优于解耦或单模态方法？
• RQ5 该模型在不同视频时长与活动类别下表现如何，特别是在长时或复杂事件中？

主要发现

• 所提出的双向SST通过引入未来上下文，显著提升了提议质量，优于单向方法。
• 将C3D特征与提议隐藏状态融合，带来了显著的性能提升，体现在ActivityNet Captions数据集上Meteor得分100%的相对增长（从4.82提升至9.65）。
• 上下文门控机制通过动态平衡事件与上下文特征，提升了字幕质量，生成了更准确且语义连贯的描述。
• 推理阶段的联合排序进一步提升了系统置信度与性能，通过过滤低质量的提议-字幕配对。
• 该模型在短至中等时长事件（如10–60秒）上表现最佳，而在极长提议（>60秒）上性能下降，表明长序列理解仍面临挑战。
• 该模型在多种活动类别中表现优异，尤其在‘网球发球后球弹跳’（Meteor: 15.1）和‘滑雪’（14.7）任务中取得最高分，而在复杂或模糊动作如‘空手道’（5.4）中得分较低。