[论文解读] Beyond Views: Measuring and Predicting Engagement in Online Videos

Siqi Wu, Marian-Andrei Rizoiu+1 more|arXiv (Cornell University)|Sep 8, 2017

Social Media and Politics被引用 46

一句话总结

本文基于530万条YouTube视频的大规模测量，提出了一项新颖的指标——相对参与度（relative engagement），该指标通过视频时长对观看百分比进行校准。研究发现，参与度随时间保持稳定，与视频质量高度相关，并且仅使用上传前的特征（如主题、上下文和频道信息）即可实现R² = 0.77的预测效果。

ABSTRACT

The share of videos in the internet traffic has been growing, therefore understanding how videos capture attention on a global scale is also of growing importance. Most current research focus on modeling the number of views, but we argue that video engagement, or time spent watching is a more appropriate measure for resource allocation problems in attention, networking, and promotion activities. In this paper, we present a first large-scale measurement of video-level aggregate engagement from publicly available data streams, on a collection of 5.3 million YouTube videos published over two months in 2016. We study a set of metrics including time and the average percentage of a video watched. We define a new metric, relative engagement, that is calibrated against video properties and strongly correlate with recognized notions of quality. Moreover, we find that engagement measures of a video are stable over time, thus separating the concerns for modeling engagement and those for popularity -- the latter is known to be unstable over time and driven by external promotions. We also find engagement metrics predictable from a cold-start setup, having most of its variance explained by video context, topics and channel information -- R2=0.77. Our observations imply several prospective uses of engagement metrics -- choosing engaging topics for video production, or promoting engaging videos in recommender systems.

研究动机与目标

• 在大规模范围内测量并理解视频参与度，超越单纯的观看次数，转向基于时间的指标（如观看时长和观看百分比）。
• 提出一种新的参与度指标——相对参与度，该指标考虑了视频时长，并与内容质量相关。
• 探究是否仅通过公开元数据（如主题、上下文和频道信息）在视频发布前预测参与度。
• 将参与度建模与流行度建模分离，因为流行度已知具有不稳定性且受推广驱动。
• 为内容创作者和平台提供可操作的见解，以制作和推荐高参与度视频。

提出的方法

• 从公开的YouTube数据流中构建了四个大规模数据集，覆盖2016年两个月内的530万条视频。
• 定义了参与度指标：平均观看时长、平均观看百分比，以及相对参与度（即基于时长校准后的平均观看百分比排名）。
• 使用二维可视化图谱分析观看时长和观看百分比相对于视频时长的偏差。
• 在冷启动设置下，应用现成的机器学习模型，基于视频上下文、主题和频道特征预测平均观看百分比和相对参与度。
• 通过视频生命周期的纵向分析，验证了参与度指标的时间稳定性。
• 将相对参与度与音乐和新闻领域的公认质量指标（如Billboard榜单、Vevo艺人表现、顶级新闻频道）进行相关性分析。

实验结果

研究问题

• RQ1 如何利用聚合数据在大规模范围内有意义地测量视频参与度，而不仅仅是依赖简单的观看次数？
• RQ2 参与度（尤其是相对参与度）是否与公认的视频质量概念相关？
• RQ3 是否可以仅通过主题、上下文和频道等公开元数据，在视频发布前预测参与度指标？
• RQ4 参与度在其生命周期内是否稳定？其动态是否与流行度动态不同？
• RQ5 在多大程度上可以仅从上传前的特征预测参与度？与依赖早期用户反馈（如观看量或评论）的模型相比表现如何？

主要发现

• 相对参与度随时间保持稳定，使其成为长期内容评估的可靠指标。
• 相对参与度与音乐和新闻领域的公认质量指标（如Billboard榜单排名和Vevo艺人表现）具有强相关性。
• 在冷启动设置下，仅使用视频上下文、主题和频道信息，即可实现R² = 0.77的平均观看百分比预测效果。
• 仅通过公开特征即可预测参与度指标，无需依赖早期用户反馈（如观看量或评论）。
• 视频时长显著影响传统观看百分比指标，而相对参与度通过时长校准有效纠正了这一偏差。
• 某些视频主题是参与度的强预测因子，表明主题选择可指导内容策略。