[论文解读] Beyond Views: Measuring and Predicting Engagement on YouTube Videos

Siqi Wu, Marian-Andrei Rizoiu+1 more|arXiv (Cornell University)|Sep 8, 2017

Caching and Content Delivery参考文献 38被引用 10

一句话总结

本文利用2016年发布的530万条YouTube视频，对YouTube视频参与度进行了大规模测量，提出了一种名为'相对参与度'的归一化指标，该指标与视频质量和上下文相关。研究发现，参与度随时间保持稳定，且能从早期视频特征中高度准确地预测（R² = 0.77），在内容策略和推荐系统方面优于基于观看量的模型。

ABSTRACT

The share of videos in the internet traffic has been growing, therefore understanding how videos capture attention on a global scale is also of growing importance. Most current research focus on modeling the number of views, but we argue that video engagement, or time spent watching is a more appropriate measure for resource allocation problems in attention, networking, and promotion activities. In this paper, we present a first large-scale measurement of video-level aggregate engagement from publicly available data streams, on a collection of 5.3 million YouTube videos published over two months in 2016. We study a set of metrics including time and the average percentage of a video watched. We define a new metric, relative engagement, that is calibrated against video properties and strongly correlate with recognized notions of quality. Moreover, we find that engagement measures of a video are stable over time, thus separating the concerns for modeling engagement and those for popularity -- the latter is known to be unstable over time and driven by external promotions. We also find engagement metrics predictable from a cold-start setup, having most of its variance explained by video context, topics and channel information -- R2=0.77. Our observations imply several prospective uses of engagement metrics -- choosing engaging topics for video production, or promoting engaging videos in recommender systems.

研究动机与目标

• 将关注点从视频观看量转向基于时间的参与度，作为注意力和内容质量更可靠的指标。
• 利用公开的YouTube数据，在大规模范围内测量总体视频参与度。
• 定义并验证一种新指标——相对参与度，该指标与视频质量相关，并针对视频属性进行校准。
• 研究参与度指标与观看量相比的时间稳定性。
• 评估能否从早期视频特征（如主题、频道、上下文）准确预测参与度。

提出的方法

• 收集并分析了2016年两个月内发布的530万条公开YouTube数据流。
• 定义了包括总观看时长和平均观看比例在内的参与度指标。
• 引入'相对参与度'作为归一化指标，基于视频时长和频道特定基线进行校准。
• 使用回归模型在冷启动场景下，从视频上下文、主题和频道信息预测参与度。
• 使用R²评估模型性能，量化参与度中可解释的方差。
• 通过比较不同时间窗口的指标，评估参与度的时间稳定性。

实验结果

研究问题

• RQ1 以观看时长衡量的视频参与度，与公认的视频质量概念有多强的相关性？
• RQ2 与观看量相比，视频参与度在多大程度上具有时间稳定性？
• RQ3 能否从早期视频特征（如主题、频道和上下文）准确预测参与度？
• RQ4 相对参与度与原始观看时长相比，在捕捉视频质量方面表现如何？
• RQ5 视频元数据在视频发布时对参与度的预测能力有多强？

主要发现

• 以观看时长和平均观看比例衡量的参与度指标具有时间稳定性，而观看量因外部推广而波动。
• 相对参与度与视频质量强相关，并通过针对视频属性的校准减少了偏差。
• 参与度可高度预测，冷启动特征（上下文、主题和频道信息）解释了77%的方差（R² = 0.77）。
• 本研究证明，参与度是内容推广和推荐系统中比观看量更可靠的信号。
• 视频层面的参与度指标在不同视频长度和频道间具有一致性，支持其作为标准化质量指标的使用。
• 研究结果支持使用参与度指标指导视频内容选题，并提升推荐系统性能。