[论文解读] End-to-End Video Classification with Knowledge Graphs

Yuan Fang, Zhe Wang+5 more|arXiv (Cornell University)|Nov 6, 2017

Multimodal Machine Learning Applications参考文献 30被引用 7

一句话总结

本文提出了一种端到端的知识感知视频分类框架，通过将外部知识图谱与深度学习模型结合，提升多标签视频分类性能。通过统一知识图谱与视频特征学习，该方法在YouTube-8M数据集上将平均平均精度（mAP）提升最高达2.9%，表明外部语义知识可增强模型泛化能力，尤其在长尾和模糊类别中表现更优。

ABSTRACT

Video understanding has attracted much research attention especially since the recent availability of large-scale video benchmarks. In this paper, we address the problem of multi-label video classification. We first observe that there exists a significant knowledge gap between how machines and humans learn. That is, while current machine learning approaches including deep neural networks largely focus on the representations of the given data, humans often look beyond the data at hand and leverage external knowledge to make better decisions. Towards narrowing the gap, we propose to incorporate external knowledge graphs into video classification. In particular, we unify traditional "knowledgeless" machine learning models and knowledge graphs in a novel end-to-end framework. The framework is flexible to work with most existing video classification algorithms including state-of-the-art deep models. Finally, we conduct extensive experiments on the largest public video dataset YouTube-8M. The results are promising across the board, improving mean average precision by up to 2.9%.

研究动机与目标

• 通过引入外部语义知识，弥合人类与机器在视频理解之间的知识鸿沟。
• 在端到端可训练的框架中，统一传统无知识的深度学习模型与外部知识图谱。
• 提升在大规模、长尾数据集（如YouTube-8M）上的多标签视频分类性能。
• 通过案例研究，探究知识图谱在何时以及为何能提升或损害分类性能。
• 实现与现有视频分类模型（包括最先进深度网络）的灵活集成。

提出的方法

• 该框架通过联合嵌入空间将知识图谱与视频特征表示相融合，支持端到端训练。
• 采用图卷积网络（GCN）对知识图谱中的关系知识进行编码，丰富视频级别的表征。
• 模型联合优化视频分类损失与知识感知对比损失，使视频特征与知识图谱中语义相关的概念对齐。
• 通过将现有视频模型（如DBoF和基于LSTM的架构）视为特征提取器，支持与多种现有视频模型的灵活集成。
• 该框架学习关注与视频语义内容相关的知识图谱路径，从而提升泛化能力。
• 采用知识感知损失函数，促使预测结果与视频特征以及图谱中语义一致的概念对齐。

实验结果

研究问题

• RQ1 外部知识图谱能否在大规模、长尾数据集（如YouTube-8M）上提升多标签视频分类性能？
• RQ2 知识图谱的集成对模糊或低资源视频类别中的模型性能有何影响？
• RQ3 在哪些场景下知识图谱能提升预测性能，而在哪些场景下会降低性能？
• RQ4 视频内容与知识图谱概念之间的语义一致性在分类准确率中起何种作用？
• RQ5 如何实现知识图谱与深度学习模型在视频理解任务中的有效且端到端的集成？

主要发现

• 所提出的端到端框架在YouTube-8M基准测试中，相较于最先进无知识模型，平均平均精度（mAP）最高提升2.9%。
• 知识图谱显著提升了24.9%的视频预测排名，尤其在视觉线索不足的长尾和模糊类别中表现突出。
• 在8.9%的案例中，知识图谱的集成导致预测性能下降，主要原因是从语义一致但无关的概念中产生了过度泛化。
• 案例研究表明，当存在相关且语义连贯的概念（如“纸”和“玩具”对应“折纸”）时，知识图谱能有效提供帮助。
• 尽管存在部分负面案例，模型仍实现整体性能增益，证实了知识集成的总体优势。
• 该框架具有高度灵活性，可与多种现有视频分类模型（包括DBoF和基于LSTM的架构）有效结合。