[論文レビュー] Random Voting Effects in Social-Digital Spaces: A case study of Reddit Post Submissions

Maria Glenski, Thomas J. Johnston+1 more|arXiv (Cornell University)|Jun 5, 2015

Social Media and Politics参考文献 8被引用数 11

ひとこと要約

本研究では、Redditにおける実地実験を通じて、ランダムな投票操作が投稿の人気に与える影響を調査した。1つのランダムなアップ投票は、平均して最終投稿スコアを11.02%向上させ、2000票以上の得票を獲得する可能性を24.6%向上させる一方、1つのランダムなダウン投票はスコアを5.15%低下させることが判明し、ソーシャル・デジタル投票システムにおいて強いヒアリング効果が存在することを示している。

ABSTRACT

At a time when information seekers first turn to digital sources for news and opinion, it is critical that we understand the role that social media plays in human behavior. This is especially true when information consumers also act as information producers and editors by their online activity. In order to better understand the effects that editorial ratings have on online human behavior, we report the results of a large-scale in-vivo experiment in social media. We find that small, random rating manipulations on social media submissions created significant changes in downstream ratings resulting in significantly different final outcomes. Positive treatment resulted in a positive effect that increased the final rating by 11.02% on average. Compared to the control group, positive treatment also increased the probability of reaching a high rating (>=2000) by 24.6%. Contrary to the results of related work we also find that negative treatment resulted in a negative effect that decreased the final rating by 5.15% on average.

研究の動機と目的

• ソーシャル・デジタルプラットフォームにおける、ランダムなレーティング操作がその後の投票行動に与える影響を調査すること。
• 初期のランダムな投票が、Redditにおける最終的な投稿の人気に影響を与えるヒアリング効果を引き起こすかどうかを評価すること。
• ポジティブおよびネガティブな処置が、スコア分布全体に及ぼす影響が対称的か非対称的かを特定すること。
• 処置のタイミングやサブレディットの特性が、投票結果に与える影響を検討すること。
• 低投票参加率と人工的影響への感受性の高さにより、ソーシャルメディアのランク付けシステムに存在する脆弱性を浮き彫りにすること。

提案手法

• ライブ投稿投稿に対して、ランダムなアップ投票またはダウン投票を挿入することで、Reddit上で実地実験を実施した。
• 複数のサブレディットにわたる投稿に対して、処置をランダムに割り当て、ユーザーが事前に操作を認識しないようにした。
• 処置群（アップ、ダウン）とコントロール群との間で、最終的な投稿スコアとレーティング分布を比較した。
• 特に上位8つの活発なサブレディットと上位500のサブレディットを含む、さまざまなサブレディットにおける処置効果を分析した。
• 信頼区間とp値を含む統計的モデリングを用いて、処置効果の有意性を評価した。
• 処置のタイミング（遅延インターバル）と1日中の時間帯が、結果のばらつきに与える影響を測定した。

実験結果

リサーチクエスチョン

• RQ1 1つのランダムなアップ投票は、Redditにおける投稿の最終スコアを有意に向上させるか？
• RQ2 1つのランダムなダウン投票は、Redditにおける投稿の最終スコアを有意に低下させるか？
• RQ3 ポジティブおよびネガティブな処置の効果は、スコア分布全体で対称的か？
• RQ4 処置のタイミング（即時 vs. 遅延）が、ヒアリング効果の大きさに与える影響は何か？
• RQ5 投稿の頻度などのサブレディットの特性が、処置効果の有意性と相関しているか？

主な発見

• 1つのランダムなアップ投票は、コントロール群と比較して平均的な最終投稿スコアを11.02%向上させた。
• ポジティブな処置のおかげで、投稿が2000票以上を獲得する確率は24.6%上昇した。
• 1つのランダムなダウン投票は、コントロール群と比較して平均的な最終スコアを5.15%低下させた。
• 平均効果に非対称性が見られる一方で、ネガティブな処置がスコア分布の上位尾部における高得票獲得の確率を有意に低下させることはなかった。
• 上位10の頻度の高いサブレディットでは、処置効果が顕著に現れ、22%のサブレディットでアップ処置効果が有意であり、21.6%のサブレディットでダウン処置効果が有意であった。
• サブレディットの投稿頻度と処置効果の有意性との間に有意な相関は認められず、人気度が操作への感受性を予測できないことを示唆している。