[论文解读] Dense-Captioning Events in Videos: SYSU Submission to ActivityNet Challenge 2020

Teng Wang, Huicheng Zheng+1 more|arXiv (Cornell University)|Jun 21, 2020

Multimodal Machine Learning Applications参考文献 11被引用 5

一句话总结

该论文提出了一种两阶段密集视频字幕生成系统，通过使用时间-语义关系模块（TSRM）建模时间与语义关系，增强事件级表征，并在分层RNN解码器中引入跨模态门控（CMG）块以改进多模态融合。该方法在ActivityNet Challenge 2020测试集上取得了9.28的METEOR得分，显著提升了密集事件字幕生成的连贯性与准确性。

ABSTRACT

This technical report presents a brief description of our submission to the dense video captioning task of ActivityNet Challenge 2020. Our approach follows a two-stage pipeline: first, we extract a set of temporal event proposals; then we propose a multi-event captioning model to capture the event-level temporal relationships and effectively fuse the multi-modal information. Our approach achieves a 9.28 METEOR score on the test set.

研究动机与目标

• 为解决先前方法在密集视频字幕生成过程中对事件间时间关系建模能力不足的问题。
• 改进分层序列生成中视觉与语言特征之间的多模态融合。
• 通过显式建模事件级的时间与语义结构，提升字幕的连贯性与准确性。
• 在ActivityNet 2020密集字幕基准上实现最先进性能。

提出的方法

• 该框架采用两阶段流程：首先通过现成的DBG模型生成时间事件提议，随后利用改进的事件序列选择网络（ESGN）对提议进行优化，以平衡精确率与召回率。
• 时间-语义关系模块（TSRM）通过独立的时间分支与语义分支，分别捕捉事件提议之间相对的时间位置/时长以及语义相似度。
• TSRM通过逐元素相加融合关系得分，并基于这些得分进行加权求和，生成关系特征。
• 跨模态门控（CMG）模块通过使用Sigmoid激活的全连接层学习动态门控权重，在分层RNN解码器中自适应地平衡视觉与语言特征。
• 语言解码器采用分层RNN结构，包含句子级RNN与词级RNN，其中词级RNN通过注意力机制聚焦于每个事件提议中的关键帧。
• 模型采用交叉熵损失进行训练，随后应用自critical序列训练（SCST）以缓解暴露偏差，并提升METEOR得分。

实验结果

研究问题

• RQ1 如何有效建模事件间的时间关系以提升密集视频字幕生成性能？
• RQ2 显式建模事件级语义与时间关系对字幕质量有何影响？
• RQ3 跨模态门控机制能否增强分层视频字幕中多模态融合的效果？
• RQ4 自critical序列训练在具有多个事件输出的密集字幕生成中如何提升生成性能？
• RQ5 模型集成与训练数据扩展在测试集上在多大程度上提升了泛化能力？

主要发现

• 所提出的TSRM模块通过同时建模事件间的时间与语义关系，显著提升了字幕生成性能，使METEOR得分从无关系建模时的9.96提升至11.49。
• 引入跨模态门控（CMG）模块通过实现视觉与语言特征的自适应融合，显著提升性能，在消融实验中使METEOR得分从11.31提升至11.49。
• 在交叉熵训练后应用自critical序列训练（SCST），使验证集上的METEOR得分从11.49提升至14.18，证明其在缓解暴露偏差方面的有效性。
• 使用包含80%验证集的扩展训练集，使验证集上的METEOR得分从14.18提升至14.64，测试集上的得分从9.17提升至9.28。
• 对三个不同随机种子训练的模型进行集成，进一步将测试集上的METEOR得分从9.17提升至9.28，表明模型具有强大的泛化能力与鲁棒性。