[論文レビュー] Beyond Views: Measuring and Predicting Engagement in Online Videos

Siqi Wu, Marian-Andrei Rizoiu+1 more|arXiv (Cornell University)|Sep 8, 2017

Social Media and Politics被引用数 46

ひとこと要約

本稿は、530万本の動画を用いたYouTubeにおける動画参加度の大型スケール測定を紹介し、動画長に応じて視聴率を補正する新しい指標「相対的参加度」を提案する。参加度は時間経過に伴い安定しており、動画品質と強く相関しており、投稿前の特徴（トピック、文脈、チャンネル情報など）を用いることで決定係数R² = 0.77で予測可能であることが示された。

ABSTRACT

The share of videos in the internet traffic has been growing, therefore understanding how videos capture attention on a global scale is also of growing importance. Most current research focus on modeling the number of views, but we argue that video engagement, or time spent watching is a more appropriate measure for resource allocation problems in attention, networking, and promotion activities. In this paper, we present a first large-scale measurement of video-level aggregate engagement from publicly available data streams, on a collection of 5.3 million YouTube videos published over two months in 2016. We study a set of metrics including time and the average percentage of a video watched. We define a new metric, relative engagement, that is calibrated against video properties and strongly correlate with recognized notions of quality. Moreover, we find that engagement measures of a video are stable over time, thus separating the concerns for modeling engagement and those for popularity -- the latter is known to be unstable over time and driven by external promotions. We also find engagement metrics predictable from a cold-start setup, having most of its variance explained by video context, topics and channel information -- R2=0.77. Our observations imply several prospective uses of engagement metrics -- choosing engaging topics for video production, or promoting engaging videos in recommender systems.

研究の動機と目的

• 視聴数を超えて視聴時間や視聴率といった時間ベースの指標を用いて、大規模な動画参加度を測定・理解すること。
• 動画長を考慮し、コンテンツ品質と相関する新しい参加度指標「相対的参加度」を考案すること。
• 投稿前に利用可能な公開メタデータのみを用いて参加度を予測できるかどうかを調査すること。
• 参加度のモデリングを、不安定でプロモーション依存の傾向が強い人気度とは分離すること。
• コンテンツ作成者やプラットフォームが高参加度の動画を制作・推薦するために役立つ実用的洞察を提供すること。

提案手法

• 2016年2か月間にわたり、530万本の動画をカバーする、公開済みYouTubeデータストリームから4つの大規模データセットを構築した。
• 参加度指標を定義：平均視聴時間、平均視聴率、および平均視聴率の時間に応じた順位付けを補正した「相対的参加度」。
• 視聴時間および視聴率の動画長に伴うバイアスを分析するため、2次元可視化マップを用いた。
• 投稿前の状況（文脈、トピック、チャンネル特徴）から平均視聴率および相対的参加度を予測するために、市販の機械学習モデルを適用し、コールドスタート設定を採用した。
• 動画のライフサイクルにわたる縦断的分析を用いて、参加度指標の時間的安定性を検証した。
• 音楽およびニュース分野の既存の品質指標（例：Billboard、Vevo、主要ニュースチャンネル）と相対的参加度を相関させた。

実験結果

リサーチクエスチョン

• RQ1 集計データを用いて、視聴数を超えて、大規模に意味のある動画参加度をどのように測定できるか？
• RQ2 特に相対的参加度は、広く認識された動画品質の概念と相関するか？
• RQ3 投稿前に、トピック、文脈、チャンネルといった公開メタデータのみを用いて参加度指標を予測できるか？
• RQ4 参加度は動画のライフタイムにわたり安定しているか？また、人気度の動態とはどのように異なるか？
• RQ5 参加度は投稿前の特徴からどの程度予測可能か？また、視聴数やコメントといった初期ユーザー反応を必要とするモデルと比較してどうか？

主な発見

• 相対的参加度は時間経過に伴い安定しており、長期的なコンテンツ評価に信頼できる指標である。
• 相対的参加度は、Billboard順位やVevoアーティストのパフォーマンスといった、音楽分野で確立された品質指標と強く相関している。
• コールドスタート設定において、動画の文脈、トピック、チャンネル情報のみを用いて平均視聴率をR² = 0.77で予測可能である。
• 参加度指標は、視聴数やコメントといった初期ユーザー反応を必要とせず、公開特徴からのみ予測可能である。
• 動画長は従来の視聴率指標に顕著なバイアスをもたらすが、相対的参加度は時間補正によってこれを是正している。
• 特定の動画トピックは参加度の強力な予測要因であるため、トピック選定がコンテンツ戦略に貢献できる可能性がある。