[论文解读] Temporal Modeling Approaches for Large-scale Youtube-8M Video Understanding

Fu Li, Chuang Gan+7 more|arXiv (Cornell University)|Jul 14, 2017

Video Analysis and Summarization参考文献 21被引用 49

一句话总结

本论文提出了三种新颖的时序建模方法——双流序列模型、快速前向序列模型和时序残差CNN，用于使用YouTube-8M数据集预提取特征的大规模视频识别。通过利用深度双向LSTM结合快速前向连接和残差学习，该方法在公开测试集上取得了82.75%的GAP@20，位列竞赛第3名。

ABSTRACT

This paper describes our solution for the video recognition task of the Google Cloud and YouTube-8M Video Understanding Challenge that ranked the 3rd place. Because the challenge provides pre-extracted visual and audio features instead of the raw videos, we mainly investigate various temporal modeling approaches to aggregate the frame-level features for multi-label video recognition. Our system contains three major components: two-stream sequence model, fast-forward sequence model and temporal residual neural networks. Experiment results on the challenging Youtube-8M dataset demonstrate that our proposed temporal modeling approaches can significantly improve existing temporal modeling approaches in the large-scale video recognition tasks. To be noted, our fast-forward LSTM with a depth of 7 layers achieves 82.75% in term of GAP@20 on the Kaggle Public test set.

研究动机与目标

• 解决使用预提取的帧级特征而非原始视频进行大规模视频识别的挑战。
• 克服浅层循环模型在捕捉视频序列中长距离时序依赖关系方面的局限性。
• 提升YouTube-8M数据集上的多标签视频分类性能，该数据集包含超过700万段视频，涵盖4,716个类别。
• 研究互补的时序建模技术，通过集成学习提升性能。
• 开发适用于工业级视频理解任务的可扩展且鲁棒的时序建模架构。

提出的方法

• 分别使用双流双向LSTM或GRU处理视觉（RGB）和音频特征，随后应用注意力机制并进行特征拼接。
• 在深度双向LSTM架构（最多7层）中引入快速前向连接，以稳定训练并改善梯度流动。
• 设计一个包含9个残差块的时序残差CNN，对帧级特征使用一维卷积，随后接批量归一化和ReLU激活。
• 将时序CNN的输出与双向LSTM及注意力层结合，用于最终分类。
• 通过拼接在注意力之后的模态特定表示进行晚期融合，随后使用全连接层和Sigmoid激活。
• 使用交叉熵损失配合标签平滑和Adam优化器进行端到端训练，并基于验证性能应用早停策略。

实验结果

研究问题

• RQ1 具有残差和快速前向连接的深度循环网络是否能在使用预提取特征的大规模视频识别中超越浅层模型？
• RQ2 分别处理视觉和音频模态特征后再融合的双流架构在多模态建模中效果如何？
• RQ3 将时序卷积网络与循环模型结合，是否相比纯RNN能更有效地提升视频表征学习？
• RQ4 不同时间建模方法在集成时，其互补性在多大程度上能提升性能？
• RQ5 当结合快速前向连接等架构创新时，深度序列模型是否能在大规模视频数据集上被有效训练？

主要发现

• 7层快速前向LSTM在公开测试集上达到82.75%的GAP@20，显著优于浅层模型。
• 双流GRU模型达到82.366%的GAP@20，证明了模态特定处理与基于注意力的融合的有效性。
• 集成57种不同架构（深度、单元大小和结构各异）的模型，性能提升至84.542%的GAP@20，位列竞赛第3名。
• 时序残差CNN达到80.889%的GAP@20，表明一维卷积能有效建模帧级特征中的时序动态。
• 所提出的模型显著优于传统方法，如视频级平均池化（80.824%）和VLAD编码（80.423%）。
• 快速前向连接使得深层LSTM架构（最多7层）的训练更加稳定，缓解了深层RNN中常见的梯度消失问题。