[論文レビュー] Three Metrics for Measuring User Engagement with Online Media and a YouTube Case Study

Lassi A. Liikkanen|arXiv (Cornell University)|Dec 19, 2013

Social Media and Politics参考文献 6被引用数 8

ひとこと要約

本稿では、標準的なYouTube統計から導出された3つのユーザー参加度指標——コメント頻度、投票頻度、投票バランス——を提案し、ユーザーの相互作用をよりよく定量化することを目的としている。人気のあるYouTube動画を対象とした事例研究において、これらの指標は原始的な参加度カウントとは僅かな相関しか示さないが、これは単なる再生回数やいいね数を超えた、洗練されたユーザー行動を捉える価値があることを示している。

ABSTRACT

This technical report discusses three metrics of user engagement with online media. They are Commenting frequency, Voting frequency, and Voting balance. These relative figures can be derived from established, basic statistics available for many services, prominently YouTube. The paper includes case a study of popular YouTube videos to illustrate the characteristics and usefulness of the measures. The study documents the range of observed values and their relationships. The empirical sample shows the three measures to be only moderately correlated with the original statistics despite the common numerators and denominators. The paper concludes by discussing future applications and the needs of the quantification of user interaction with new media services.

研究の動機と目的

• 再生回数やいいね数といった基本的な指標を超えて、オンラインメディアとのユーザー参加度を測る新しい解釈可能な指標を開発すること。
• これらの指標が、従来の参加度指標とはどのように異なり、ユーザーの相互作用パターンを捉えているかを分析すること。
• 人気のあるYouTube動画から得た実世界のデータを用いて、これらの指標を評価すること。
• 相対的指標の有用性が、動画プラットフォームにおける多様なユーザー行動を理解するのにどのように寄与するかを示すこと。
• 将来の新興メディアサービスにおけるユーザー相互作用の定量的分析を支援すること。

提案手法

• コメント頻度を、コメント数を再生回数で割った値とし、1,000再生あたりに正規化する。
• 投票頻度を、投票数（いいね・悪いね）を再生回数で割った値とし、1,000再生あたりに正規化する。
• 投票バランスを、(いいね数 - 悪いね数) を総投票数で割った値とし、感情の極性を示す。
• 公開済みの統計データを用いて、人気のあるYouTube動画のサンプルにこれらの指標を適用する。
• データセット全体における3つの指標の分布と相関関係を分析する。
• 統計的分析を用いて、新規指標と元の参加度カウントとの相関を評価する。

実験結果

リサーチクエスチョン

• RQ1 人気のあるYouTube動画において、コメント頻度、投票頻度、投票バランスはどのように変動するか？
• RQ2 これらの新規指標は、再生回数やいいね数といった従来の参加度指標と、どの程度相関しているか？
• RQ3 これらの指標は、原始的な統計では捉えきれない、明確なユーザー行動パターンを明らかにできるか？
• RQ4 実世界のオンラインメディアコンテンツのサンプルにおいて、各指標の観察値の範囲はどのようになるか？
• RQ5 これらの指標は、異なるタイプのユーザー参加度を区別するのにどの程度有効か？

主な発見

• コメント頻度、投票頻度、投票バランスの3つの指標は、分子と分母が共通するにもかかわらず、元の参加度統計とは僅かな相関しか示さない。
• コメント頻度は広範なばらつきを示しており、再生回数が多くても、コメントを書くユーザーはごく少数であることが示唆される。
• 投票頻度は一般的に低く、多くの動画で1,000再生あたり1件未満の投票が記録されており、積極的な投票行動が限定的であることが示唆される。
• 投票バランスは、一部の動画で顕著な感情の極端な分極化を示しており、極端な値は強い視聴者反応を示している。
• これらの指標は、単なる再生回数やいいね数では反映できない、ユーザー相互作用の洗練された側面を包括的に捉えている。
• 実証的結果から、これらの指標はコンテンツの種別や視聴者反応パターンに敏感であることが示され、参加度分析における有用性が裏付けられている。