[论文解读] Content-based Video Relevance Prediction Challenge: Data, Protocol, and Baseline

Mengyi Liu, Xiaohui Xie+1 more|arXiv (Cornell University)|Jun 3, 2018

Recommender Systems and Techniques参考文献 1被引用 8

一句话总结

本文介绍了在ACM Multimedia 2018上举办的基于内容的视频相关性预测（CBVRP）挑战赛，提供了一个大规模的电视节目和电影预告片数据集，其真实相关性排名基于隐式用户反馈生成。该研究提出了一套使用视频特征（视觉、音频和元数据）评估基于内容的相关性预测的协议，基线结果表明，三元组网络学习在性能上优于无监督余弦相似度，尤其是在对电视节目和电影的Inception与C3D特征进行晚期融合时表现更优。

ABSTRACT

Video relevance prediction is one of the most important tasks for online streaming service. Given the relevance of videos and viewer feedbacks, the system can provide personalized recommendations, which will help the user discover more content of interest. In most online service, the computation of video relevance table is based on users' implicit feedback, e.g. watch and search history. However, this kind of method performs poorly for "cold-start" problems - when a new video is added to the library, the recommendation system needs to bootstrap the video relevance score with very little user behavior known. One promising approach to solve it is analyzing video content itself, i.e. predicting video relevance by video frame, audio, subtitle and metadata. In this paper, we describe a challenge on Content-based Video Relevance Prediction (CBVRP) that is hosted by Hulu in the ACM Multimedia Conference 2018. In this challenge, Hulu drives the study on an open problem of exploiting content characteristics directly from original video for video relevance prediction. We provide massive video assets and ground truth relevance derived from our really system, to build up a common platform for algorithm development and performance evaluation.

研究动机与目标

• 通过直接从视频内容预测相关性，而非依赖稀疏的用户反馈，来解决视频推荐系统中的冷启动问题。
• 利用真实流媒体数据，建立标准化基准，用于评估基于内容的视频相关性预测。
• 提供公开数据集与评估协议，以实现对不同视频内容类型下算法的公平比较。
• 通过聚焦多模态特征（视觉、音频、文本）和度量学习用于相关性评分，推动视频表征学习的研究。

提出的方法

• 挑战赛使用视频预告片而非完整视频，以应对版权和法律限制，并采用来自Inception和C3D网络的预提取特征。
• 真实相关性列表基于匿名化用户隐式反馈（如观看历史和搜索记录）生成，并经过清洗以保护隐私。
• 训练三元组网络以学习一个度量空间，使相关视频在该空间中更接近，使用来自真实相关性列表的锚点-正样本-负样本三元组。
• 基线模型包括特征嵌入之间的无监督余弦相似度，以及嵌入维度d=256的监督三元组损失优化。
• 晚期融合通过平均多种特征类型（如Inception-pool3与C3D-pool5）的相似度矩阵，提升模型鲁棒性。
• 评估指标采用hit@k与recall@k，k值为5、10、20、30、50、100、200和300，结果在验证集与测试集上报告。

实验结果

研究问题

• RQ1 在不依赖用户反馈的情况下，视频内容特征（视觉、音频和文本）在预测电视节目与电影之间相关性方面的表现如何？
• RQ2 与简单的余弦相似度相比，通过三元组网络进行度量学习在基于内容的视频相关性预测中能带来多大的性能提升？
• RQ3 多模态特征（如Inception与C3D）的晚期融合在提升相关性预测准确率方面有多有效？
• RQ4 不同视频类型（电视节目与电影）及类型分布在多大程度上影响相关性预测模型的泛化能力？
• RQ5 能否建立一个统一框架，仅使用基于内容的特征实现冷启动视频相关性预测？

主要发现

• 采用Inception-pool3与C3D-pool5特征晚期融合的三元组网络表现最佳，在电视节目验证集上hit@5达到0.272，在电影验证集上达到0.190。
• 在测试集上，晚期融合将hit@5提升至0.249（电影）和0.249（电视节目），优于单一特征类型和无监督余弦相似度。
• 三元组网络在所有k值下均持续优于无监督余弦相似度，尤其在较高k值（如k=100和k=200）时表现更优，表明其在长尾相关性上的泛化能力更强。
• C3D-pool5特征在电视节目和电影上均优于Inception-pool3，尤其在recall@k指标上表现更优，表明其在时间建模方面更具优势。
• 使用预告片而非完整视频并未显著降低模型性能，验证了该方法在大规模基准测试中的有效性。
• 基线结果表明，即使无监督方法如余弦相似度也取得了非平凡的性能（如电视节目前5名命中率≈0.23），表明视频内容中存在内在结构。