[论文解读] Aggregating Frame-level Features for Large-Scale Video Classification

Shaoxiang Chen, Xi Wang+4 more|arXiv (Cornell University)|Jul 4, 2017

Human Pose and Action Recognition参考文献 2被引用 14

一句话总结

本文提出了一种基于YouTube-8M数据集中提取的帧级特征的多模型集成方法，用于大规模视频分类。该方法结合了循环神经网络（RNNs）、门控RNN变体以及可学习的广义VLAD层来聚合时序特征，在私有测试集上实现了0.84198的GAP@20，于650支队伍中排名第四，达到当前最优性能。

ABSTRACT

This paper introduces the system we developed for the Google Cloud & YouTube-8M Video Understanding Challenge, which can be considered as a multi-label classification problem defined on top of the large scale YouTube-8M Dataset. We employ a large set of techniques to aggregate the provided frame-level feature representations and generate video-level predictions, including several variants of recurrent neural networks (RNN) and generalized VLAD. We also adopt several fusion strategies to explore the complementarity among the models. In terms of the official metric GAP@20 (global average precision at 20), our best fusion model attains 0.84198 on the public 50\% of test data and 0.84193 on the private 50\% of test data, ranking 4th out of 650 teams worldwide in the competition.

研究动机与目标

• 解决在无法访问原始视频或光流的情况下，仅基于预提取的帧级特征进行视频级分类的挑战。
• 探索有效的时序聚合技术，以建模视频中的运动与序列动态特性。
• 通过融合多种架构的互补优势，采用模型融合策略提升性能。
• 在竞赛约束条件下，于YouTube-8M基准上实现顶尖性能。
• 证明在大规模设置下，低复杂度方法如广义VLAD可与更复杂的RNN相媲美。

提出的方法

• 采用多种RNN变体（包括LSTM、GRU及其优化变体，如引入循环dropout、批量归一化和残差连接）来从帧特征中学习时序依赖关系。
• 引入可学习的广义VLAD层，以跨时间聚合帧级特征，实现端到端学习视频级表征，计算成本显著低于RNN。
• 在训练过程中使用多个检查点进行模型训练，并通过学习到的模型内权重融合其预测结果，以提升鲁棒性与泛化能力。
• 采用学习到的权重进行模型间融合，结合来自不同模型（如RNN、GRU、NetVLAD、MoE）的预测结果，以增强性能。
• 通过特征变换在不同时间尺度上训练模型，提升表征多样性。
• 使用加权平均策略优化融合过程，其中模型内与模型间融合权重均通过学习或经验设定。

实验结果

研究问题

• RQ1 在无法访问原始视频的情况下，基于RNN的模型能否有效聚合帧级特征以实现大规模视频分类？
• RQ2 可学习的广义VLAD层在聚合时序特征用于视频级预测方面，与RNN相比表现如何？
• RQ3 模型集成融合在YouTube-8M基准上的性能提升程度如何？
• RQ4 能否有效结合训练的早期与晚期检查点以提升模型鲁棒性与准确性？
• RQ5 在视频特征聚合中，使用RNN与广义VLAD时，模型复杂度与性能之间的权衡如何？

主要发现

• 表现最佳的模型为多种架构融合预测的集成模型，在公开测试集上GAP@20达到0.84198，在私有测试集上达到0.84193，于650支队伍中排名第四。
• 单个NetVLAD模型的GAP@20达到0.79175，展现出显著低于RNN的计算成本下的强劲性能。
• 多模型融合持续提升性能，其中Ensemble 2（融合多个模型及其变体）达到最高的GAP@20为0.84198。
• 通过不同训练检查点的预测结果进行模型内融合可提升泛化能力，最优权重分别为0.4、0.3、0.2和0.1（对应四个检查点）。
• 在RNN模型中引入循环dropout与批量归一化可提升收敛速度与性能，尤其在深层架构中效果显著。
• 通过模型间融合整合RNN、GRU、RWA与NetVLAD等多样化模型，获得更优结果，证实了不同聚合策略之间的互补性。