[論文レビュー] Popularity and Quality in Social News Aggregators: A Study of Reddit and Hacker News

Greg Stoddard|arXiv (Cornell University)|Jan 30, 2015

Asian Culture and Media Studies被引用数 13

ひとこと要約

本稿では、Reddit や Hacker News の記事の内在的質を、ユーザー間で可視性を均等にした反事後的シミュレーションにより推定するポisson回帰モデルを提案する。可視性バイアスと社会的影響を補正する。強い社会的影響の影響にもかかわらず、これらのプラットフォームにおける人気は、驚くほど真の記事の質を正確に反映していることが判明した。

ABSTRACT

In this paper we seek to understand the relationship between the online popularity of an article and its intrinsic quality. Prior experimental work suggests that the relationship between quality and popularity can be very distorted due to factors like social influence bias and inequality in visibility. We conduct a study of popularity on two different social news aggregators, Reddit and Hacker News. We define quality as the relative number of votes an article would have received if each article was shown, in a bias-free way, to an equal number of users. We propose a simple poisson regression method to estimate this quality metric from time-series voting data. We validate our methods on data from Reddit and Hacker News, as well the experimental data from prior work. This method works well even though the collected data is subject to common social media biases. Using these estimates, we find that popularity on Reddit and Hacker News is a stronger reflection of intrinsic quality than expected.

研究の動機と目的

• Reddit や Hacker News などのソーシャルニュースアグリゲーターにおける人気が、社会的影響バイアスがある中でも、内在的記事質をどれほど正確に反映しているかを調査すること。
• 可視性バイアスと投票システムにおける「富める者はさらに富む」効果を考慮した記事質推定手法を開発すること。
• Reddit や Hacker News の実データ、および先行研究の実験データを用いて、手法の妥当性を検証すること。
• 特に Reddit において、リポストがすでに人気のあるコンテンツの可視性をどのように拡大しているかを検討すること。
• 初期の投票行動が長期的な人気結果に著しく歪められるかどうかを評価すること。

提案手法

• 『質』を、可視性バイアスが存在しない状況で、同じ数のユーザーに表示された場合に得られる予想される投票数として定義する。
• Reddit および Hacker News の時系列投票データを用い、投票率をポisson回帰フレームワークでモデル化する。
• 時間的要因および可視性効果を調整した上で、投票パターンにポissonモデルをフィッティングし、潜在的質スコアを推定する。
• 実プラットフォームデータおよび MusicLab 研究の実験データの両方で手法を検証し、社会的バイアスに対して頑健であることを示す。
• リポスト行動を分析に組み込み、可視性および最終的な人気への影響を評価する。
• バリデーションサブセットの Reddit 動画において、YouTube の再生回数を外部プロキシとして用いる。

実験結果

リサーチクエスチョン

• RQ1 Reddit や Hacker News における人気が、社会的影響および可視性バイアスがある中でも、記事の内在的質をどの程度正確に反映しているか。
• RQ2 ポisson回帰モデルは、ソーシャルニュースプラットフォームの観察的投票データから、内在的記事質をどの程度正確に推定できるか。
• RQ3 リポストは、Reddit においてすでに外部で人気の高いコンテンツの可視性をどのように高めているか。
• RQ4 初期の投票行動は、ソーシャルニュースアグリゲーターにおける記事の長期的人気にどのように影響しているか。
• RQ5 『富める者はさらに富む』効果は、これらのプラットフォームにおける質と人気の関係をどの程度歪めているか。

主な発見

• 可視性バイアスや強い社会的影響がある中でも、Reddit や Hacker News における人気は、予想以上に内在的記事質の良好な指標であることが判明した。
• ポisson回帰モデルは、一般的なソーシャルメディアバイアスにさらされたデータに対しても、質の推定に成功した。
• YouTube で100万回以上の再生回数を記録した動画は、平均して1.5回の動画より3.6回多く Reddit に投稿された。これは、外部の人気と投稿頻度の間に強い相関があることを示している。
• 100万回以上の再生回数を記録した動画のうち、初回投稿時に人気になったのは59％にとどまったが、人気の低い動画では76％が初回に人気になった。これは、高品質なコンテンツが再投稿されやすく、最終的には注目を集める傾向にあることを示している。
• リポストは、そうでなければ見過ごされがちな外部で人気の高いコンテンツを浮き彫りにする上で特に効果的であり、可視性の拡大に果たす役割が顕著である。
• 初期のダウン投票は、記事の人気に強く、かつ逆転が困難な影響を及ぼすことが判明し、初期の投票行動が長期的結果を大きく左右することが示された。