[论文解读] Encoding Video and Label Priors for Multi-label Video Classification on YouTube-8M dataset

Seil Na, Youngjae Yu+3 more|arXiv (Cornell University)|Jun 24, 2017

Music and Audio Processing参考文献 17被引用 6

一句话总结

该论文提出了一种用于YouTube-8M数据集的多标签视频分类深度学习框架，通过LSTM和MoE实现视频时序建模，引入标签相关性先验，并采用Huber损失增强的交叉熵损失。集成模型在Kaggle竞赛中取得0.839的测试性能，排名第8名，通过结构化组件设计及对标签先验和损失函数的消融分析，显著优于基线模型。

ABSTRACT

YouTube-8M is the largest video dataset for multi-label video classification. In order to tackle the multi-label classification on this challenging dataset, it is necessary to solve several issues such as temporal modeling of videos, label imbalances, and correlations between labels. We develop a deep neural network model, which consists of four components: the frame encoder, the classification layer, the label processing layer, and the loss function. We introduce our newly proposed methods and discusses how existing models operate in the YouTube-8M Classification Task, what insights they have, and why they succeed (or fail) to achieve good performance. Most of the models we proposed are very high compared to the baseline models, and the ensemble of the models we used is 8th in the Kaggle Competition.

研究动机与目标

• 解决YouTube-8M数据集中多标签视频分类的时序建模、标签不平衡和标签相关性挑战。
• 通过设计并评估四个模型阶段（视频池化、分类、标签处理和损失函数）中的新组件，提升YouTube-8M数据集上的性能。
• 研究标签相关性先验和替代损失函数在提升噪声视频标注下泛化能力和鲁棒性方面的有效性。
• 通过组件级消融和集成建模实现最先进性能，并在Kaggle竞赛中进行验证。

提出的方法

• 以拼接的帧（Inception-V3）和音频（VGG-inspired）特征作为输入，通过PCA和归一化将每帧降维至1,152维。
• 采用视频池化层，结合LSTM、MoE（专家混合）或MLP结构，将时序序列编码为固定维度的嵌入表示。
• 应用标签处理层，引入预计算的相关性矩阵以优化类别得分，可学习权重控制其影响程度。
• 采用混合损失函数，结合交叉熵与Huber损失，以缓解弱标注YouTube标签带来的噪声影响。
• 通过简单平均集成多种模型提升性能，精心选择组件以最大化多样性。
• 对每个组件进行消融研究，以隔离架构选择和超参数的影响。

实验结果

研究问题

• RQ1 不同的时序编码方法（LSTM、MoE、MLP）在YouTube-8M多标签视频分类中的性能表现如何？
• RQ2 标签相关性先验在多大程度上能提升分类准确率？为何在此设置下表现不佳？
• RQ3 与标准交叉熵损失相比，使用Huber损失是否能提升对YouTube-8M噪声标注的鲁棒性？
• RQ4 与仅堆叠表现最佳的模型相比，模型集成的多样性如何影响最终性能？
• RQ5 为何在本设置中，复杂架构如紧凑双线性池化反而表现不如简单拼接？

主要发现

• 集成模型在YouTube-8M排行榜上取得0.839的测试性能，位列Kaggle竞赛第8名。
• Huber损失变体（δ=0.5）将性能提升至0.803，优于标准交叉熵及其他Huber设置，表明其具有更好的噪声鲁棒性。
• 直接应用标签相关性先验未提升性能，表明YouTube-8M中的相关性过于微弱或结构不佳，难以直接用于得分优化。
• 16个专家的MoE-16模型取得0.788的GAP@20，最佳单模型（LSTM-M-O + MoE-2 + HuberLoss）达到0.820的测试性能。
• 层归一化提升了MLP的性能并降低了对超参数的敏感性，但在LSTM模型中未见类似效果。
• 集成中的模型多样性比模型质量更为关键——组合多样化模型的性能优于仅堆叠表现最佳的单个模型。