[論文レビュー] Beyond Views: Measuring and Predicting Engagement on YouTube Videos

Siqi Wu, Marian-Andrei Rizoiu+1 more|arXiv (Cornell University)|Sep 8, 2017

Caching and Content Delivery参考文献 38被引用数 10

ひとこと要約

本論文は、2016年の2か月間にわたって公開された530万本の動画を対象に、YouTube動画のエンゲージメントを大規模に測定し、動画の品質と文脈に紐づけられた正規化された指標「相対的エンゲージメント」を提案する。エンゲージメントは時間経過とともに安定しており、初期の動画特徴（R² = 0.77）から非常に予測可能であることが示され、コンテンツ戦略やレコメンデーションシステムにおいて、視聴回数ベースのモデルを上回る性能を発揮する。

ABSTRACT

The share of videos in the internet traffic has been growing, therefore understanding how videos capture attention on a global scale is also of growing importance. Most current research focus on modeling the number of views, but we argue that video engagement, or time spent watching is a more appropriate measure for resource allocation problems in attention, networking, and promotion activities. In this paper, we present a first large-scale measurement of video-level aggregate engagement from publicly available data streams, on a collection of 5.3 million YouTube videos published over two months in 2016. We study a set of metrics including time and the average percentage of a video watched. We define a new metric, relative engagement, that is calibrated against video properties and strongly correlate with recognized notions of quality. Moreover, we find that engagement measures of a video are stable over time, thus separating the concerns for modeling engagement and those for popularity -- the latter is known to be unstable over time and driven by external promotions. We also find engagement metrics predictable from a cold-start setup, having most of its variance explained by video context, topics and channel information -- R2=0.77. Our observations imply several prospective uses of engagement metrics -- choosing engaging topics for video production, or promoting engaging videos in recommender systems.

研究の動機と目的

• 視聴回数から時間ベースのエンゲージメントへ移行し、注意の集中度やコンテンツ品質のより信頼性の高い指標とする。
• 公開済みのYouTubeデータを用いて、大規模な動画エンゲージメントの集計測定を行う。
• 動画の品質と相関するが、動画の特性に合わせてキャリブレーションされた新しい指標「相対的エンゲージメント」を定義・検証する。
• エンゲージメント指標の時間的安定性を、視聴回数と比較して調査する。
• 初期の動画特徴（例：トピック、チャンネル、文脈）からエンゲージメントをどの程度正確に予測できるかを評価する。

提案手法

• 2016年2か月間にわたって公開された530万本のYouTube動画について、公開済みのデータストリームを収集・分析した。
• 合計視聴時間や平均視聴率といったエンゲージメント指標を定義した。
• 動画長およびチャンネルごとのベースラインに合わせてキャリブレーションされた正規化指標として「相対的エンゲージメント」を導入した。
• 冷スタート状況下で、動画の文脈、トピック、チャンネル情報からエンゲージメントを予測する回帰モデルを用いた。
• エンゲージメントの分散の説明割合を測定するために、R²を用いてモデルのパフォーマンスを評価した。
• 時間窓ごとの比較を通じて、エンゲージメントの時間的安定性を評価した。

実験結果

リサーチクエスチョン

• RQ1 視聴時間で測定される動画エンゲージメントは、一般的に認識される動画品質の概念とどの程度相関するか？
• RQ2 視聴回数と比較して、動画エンゲージメントはどの程度時間的安定性を示すか？
• RQ3 トピック、チャンネル、文脈といった初期の動画特徴から、エンゲージメントを正確に予測できるか？
• RQ4 相対的エンゲージメントは、原始的な視聴時間と比べて、動画品質をどの程度的確に捉えられるか？
• RQ5 動画のメタデータは、動画公開直後にエンゲージメントをどの程度正確に推定できるか？

主な発見

• 視聴時間や平均視聴率といったエンゲージメント指標は時間経過に伴い安定しており、外部のプロモーションの影響を受ける視聴回数とは異なり、変動が小さい。
• 相対的エンゲージメントは動画品質と強く相関しており、動画の特性に合わせてキャリブレーションされているためバイアスが低減される。
• エンゲージメントは冷スタート特徴から非常に予測可能であり、文脈、トピック、チャンネル情報によって77％の分散が説明可能である（R² = 0.77）。
• 本研究では、コンテンツプロモーションやレコメンデーションシステムにおいて、エンゲージメントが視聴回数よりも信頼性の高いシグナルであることが示された。
• 動画長やチャンネルにかかわらず、動画レベルのエンゲージメント測定値は一貫しており、標準化された品質指標としての利用が可能である。
• 研究結果は、エンゲージメント指標を用いることで、動画制作のトピック選定やレコメンデーションシステムのパフォーマンス向上が可能であることを支持する。