[论文解读] Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers

Manjot Bilkhu, Siyang Wang+1 more|arXiv (Cornell University)|Jun 6, 2019

Multimodal Machine Learning Applications参考文献 36被引用 10

一句话总结

该论文提出了一种基于自注意力机制的视频摘要模型，采用通用变换器（Universal Transformers）和3D卷积神经网络（C3D、Two-stream I3D）进行特征提取。该模型在MSVD和ActivityNet数据集上实现了最先进性能，即使在大量无关帧存在的情况下，仍能对相关视频片段保持优越的注意力聚焦，且BLEU得分具有竞争力，得益于参数共享，模型鲁棒性也得到提升。

ABSTRACT

Video Captioning and Summarization have become very popular in the recent years due to advancements in Sequence Modelling, with the resurgence of Long-Short Term Memory networks (LSTMs) and introduction of Gated Recurrent Units (GRUs). Existing architectures extract spatio-temporal features using CNNs and utilize either GRUs or LSTMs to model dependencies with soft attention layers. These attention layers do help in attending to the most prominent features and improve upon the recurrent units, however, these models suffer from the inherent drawbacks of the recurrent units themselves. The introduction of the Transformer model has driven the Sequence Modelling field into a new direction. In this project, we implement a Transformer-based model for Video captioning, utilizing 3D CNN architectures like C3D and Two-stream I3D for video extraction. We also apply certain dimensionality reduction techniques so as to keep the overall size of the model within limits. We finally present our results on the MSVD and ActivityNet datasets for Single and Dense video captioning tasks respectively.

研究动机与目标

• 为解决循环神经网络（LSTMs/GRUs）在视频字幕生成中的局限性，用基于注意力的架构进行替代。
• 探索通用变换器——参数共享、迭代式变换器——在视频摘要任务中的有效性。
• 在单句和密集视频字幕基准（MSVD和ActivityNet）上评估模型，以检验其可扩展性和性能表现。
• 探究Transformer中的注意力机制是否能比循环单元更有效地识别显著的视频片段。
• 通过降低特征提取器的维度和微调，提升模型效率与泛化能力。

提出的方法

• 使用C3D和Two-stream I3D 3D CNN从视频输入中提取时空特征，将视频压缩为固定大小的特征向量序列。
• 采用通用变换器作为字幕生成网络，通过层间共享权重，并在多层中迭代优化表示。
• 应用降维技术控制模型大小和计算成本，同时保持性能。
• 在单句和密集字幕任务上，使用真实字幕的交叉熵损失进行端到端训练。
• 在训练集上对C3D和I3D特征提取器进行微调，以适应特定的字幕生成任务。
• 在通用变换器中引入掩码自注意力机制，以处理可变长度输出并提升训练稳定性。

实验结果

研究问题

• RQ1 基于通用变换器的架构是否能在视频摘要任务中超越标准RNN基模型？
• RQ2 与循环单元相比，自注意力机制在捕捉长距离依赖关系和显著时间片段方面效果如何？
• RQ3 通用变换器中的降维和参数共享在提升泛化能力与减少过拟合方面有多大作用？
• RQ4 该模型在单句和密集视频字幕基准上的表现如何，特别是在处理无关视频帧方面？
• RQ5 对3D CNN特征提取器进行微调是否能提升字幕生成性能，相比使用预训练模型？

主要发现

• 该模型在MSVD和ActivityNet数据集上均取得了具有竞争力的BLEU得分，表明其在视频字幕生成任务中表现优异。
• 即使超过50%的帧为非信息性内容，通用变换器仍能学习到对相关视频片段的注意力聚焦，展现出鲁棒的注意力机制。
• 尽管BLEU得分相近，通用变换器生成的字幕多样性高于标准Transformer，这可能是由于参数共享减少了过拟合。
• 定性分析显示，该模型在复杂视频中能成功生成关于主体和动作序列的连贯字幕，ActivityNet上的示例验证了这一点。
• 失败案例揭示，尽管能正确识别主体和动作，但生成的段落仍缺乏连贯性，表明在句子结构构建方面仍有改进空间。
• 对C3D和I3D特征提取器进行微调后性能有所提升，表明任务特定的适应能增强特征的相关性。