[论文解读] Truly Multi-modal YouTube-8M Video Classification with Video, Audio, and Text

Zhe Wang, Kingsley Kuan+14 more|arXiv (Cornell University)|Jun 17, 2017

Multimodal Machine Learning Applications参考文献 5被引用 17

一句话总结

本文通过整合视频、音频和文本特征（特别是标题和关键词）构建了一个真正意义上的多模态视频分类框架，采用多模态专家混合（MoE）分类器对YouTube-8M数据集进行分类。文本特征的引入显著提升了性能，在YouTube-8M-Text验证集上达到86.7%的GAP，表明语义性文本线索能有效弥合视频分类中的语义鸿沟，尤其在罕见或模糊类别上表现突出。

ABSTRACT

The YouTube-8M video classification challenge requires teams to classify 0.7 million videos into one or more of 4,716 classes. In this Kaggle competition, we placed in the top 3% out of 650 participants using released video and audio features. Beyond that, we extend the original competition by including text information in the classification, making this a truly multi-modal approach with vision, audio and text. The newly introduced text data is termed as YouTube-8M-Text. We present a classification framework for the joint use of text, visual and audio features, and conduct an extensive set of experiments to quantify the benefit that this additional mode brings. The inclusion of text yields state-of-the-art results, e.g. 86.7% GAP on the YouTube-8M-Text validation dataset.

研究动机与目标

• 通过引入标题和关键词等高层语义信息，解决视频分类中的语义鸿沟问题，这些信息在传统多模态方法中常被忽略。
• 构建一个统一的多模态学习框架，联合建模视觉、音频和文本特征，以提升分类性能。
• 量化文本特征在提升分类准确率方面的贡献，特别是针对视觉和音频线索有限的罕见或模糊类别。
• 发布YouTube-8M-Text数据集、学习到的文本特征及模型，以促进多模态视频理解领域的进一步研究。

提出的方法

• 作者通过官方元数据API从YouTube收集视频标题和关键词，构建YouTube-8M-Text数据集，筛选英文内容并进行文本预处理，如全小写转换和标点符号移除。
• 使用在Google新闻数据集上预训练的Word2Vec嵌入将词语转换为300维稠密向量，以实现文本特征的语义表示。
• 利用截断的深度学习模型从原始YouTube-8M数据集中提取视频级特征，音频和视觉特征在1秒时间窗口内进行池化处理。
• 文本特征独立处理后，与视频和音频特征拼接，输入多模态专家混合（MoE）分类器，实现输入到专业专家网络的动态路由。
• 通过训练、开发和验证集的组合进行模型训练与评估，性能使用平均精度（mAP）和广义平均精度（GAP）衡量。
• 在保留的开发集上调整超参数，并开展消融研究以分离各模态的贡献。

实验结果

研究问题

• RQ1 在YouTube-8M数据集中，引入文本元数据（标题和关键词）对视频分类性能的提升程度如何？
• RQ2 文本特征能否有效弥合低层次视觉/音频特征与高层次类别标签之间的语义鸿沟，特别是在模糊或罕见类别上？
• RQ3 与单字词匹配基线相比，文本特征的性能如何？标题中的词序是否提供额外的判别能力？
• RQ4 视频、音频和文本的多模态融合在性能上是否显著优于单模态或弱多模态基线？
• RQ5 数据质量和语言偏见对模型泛化能力的影响有多大，特别是在排除非英语或低资源内容时？

主要发现

• 文本特征的整合带来了显著的性能提升，在YouTube-8M-Text验证集上达到86.7%的广义平均精度（GAP），优于先前的最先进模型。
• 文本特征中，标题对性能提升的贡献大于关键词，可能是因为保留了句子结构和词序，有助于语义理解。
• 模型的mAP高于单字词匹配基线，表明学习到的文本表征并非依赖于简单的关键词匹配，而是捕捉了有意义的语义内容。
• 消融研究证实，文本特征在提升性能方面具有显著优势，尤其在训练样本较少的类别上，能有效降低歧义并改善泛化能力。
• 作者观察到，该数据集的高精度、机器生成的标签可能偏向于视觉和听觉内容更清晰的视频，可能高估了真实世界中模型的性能。
• YouTube-8M-Text数据集、预训练的文本特征及代码的发布，为未来多模态视频理解与模型泛化研究提供了支持。