[論文レビュー] Engagement, User Satisfaction, and the Amplification of Divisive Content on Social Media

Smitha Milli, Micah Carroll+4 more|arXiv (Cornell University)|May 26, 2023

Social Media and Politics被引用数 35

ひとこと要約

この論文は preregistered randomized 実験を報告しており、Twitter のエンゲージメントベースのランキングが感情的に喚起された、外部集団敵対的な内容を増幅し、分極化効果を生む一方で、提示された好みでのランキングは怒りと敵意を減少させるが、エコーチェンバーのリスクを伴う可能性がある。

ABSTRACT

In a pre-registered algorithmic audit, we found that, relative to a reverse-chronological baseline, Twitter's engagement-based ranking algorithm amplifies emotionally charged, out-group hostile content that users say makes them feel worse about their political out-group. Furthermore, we find that users do \emph{not} prefer the political tweets selected by the algorithm, suggesting that the engagement-based algorithm underperforms in satisfying users' stated preferences. Finally, we explore the implications of an alternative approach that ranks content based on users' stated preferences and find a reduction in angry, partisan, and out-group hostile content, but also a potential reinforcement of pro-attitudinal content. The evidence underscores the necessity for a more nuanced approach to content ranking that balances engagement and users' stated preferences.

研究の動機と目的

• エンゲージメントベースのランキングがソーシャルメディア上の社会政治的コンテンツと読者の感情をどのように形成するかを理解する動機づけを提供する。
• エンゲージメントベースのランキングと逆時系列フィードが六つの社会政治的成果に及ぼす因果影響を定量化する。
• ユーザーの明示的な好みによるランキングが、ユーザー福祉と社会政治的目標により適合するかを探る。
• エンゲージメントベースのランキングの代替として、提示された好みによるランキングの潜在的な利点と欠点を評価する。

提案手法

• Twitter のエンゲージメントベースのタイムラインと逆時系列ベースラインを比較する preregistered randomized within-subjects 実験を実施した（N=806）。
• 両方のタイムラインの下で参加者が最初に見る10ツイートを収集し、各ツイートについて彼らに調査を行った。
• 内容と読者の感情に関連する六つの社会政治的指標（+ 第七のユーザー好みの指標）に成果を分類し、組み合わせ置換検定で分析した。
• ユーザーの明示的な好みによるランキング（SP タイムライン）を約20件のユニークなツイートで第三条件としてシミュレーションし、その効果を評価した。
• 補足分析で GPT-4 ラベリングを用いて定性的整合性を示し、結果を検証した。

Figure 1: Average treatment effects for all outcomes. ATEs are shown with 95% Bootstrap confidence intervals (unadjusted for multiple testing). The effects of two different timelines are shown: (1) Twitter’s own engagement-based timeline, (2) our exploratory timeline that ranks based on users’ state

実験結果

リサーチクエスチョン

• RQ1 RQ1: エンゲージメントベースのランキングアルゴリズムは、読者の社会政治的成果（感情、 partisan 心理、外部集団への敵意）にどのような影響を与えるか？
• RQ2 RQ2: エンゲージメントベースのランキングは、コンテンツに対するユーザーの明示的な好みと整合しているか？
• RQ3 RQ3: ユーザーの明示的な好みによるランキングの社会政治的成果への影響はどのようで、どんなトレードオフが生じるか？

主な発見

• エンゲージメントベースのランキングは、逆時系列ベースラインと比較して、より partisan な内容および外部集団への敵対的な内容を増幅させる。
• エンゲージメントベースのツイートは、読者の怒り、悲しみ、不安、外部集団に対する否定的な認識を増加させ、一方で同胞グループへのポジティブさを高める。
• エンゲージメントベースのタイムラインからの政治的ツイートは、著者と読者の感情の表現において、怒りの表出が高く、読者に関連する怒りが高い（著者0.75 SD、読者0.37 SD） 。
• 読者は全体としてエンゲージメントタイムラインのツイートを見たい欲望がわずかに高くなるが、エンゲージメントタイムラインの政治的ツイートをユーザー価値の観点で低く評価する（−0.18 SD）。
• 提示された好みによるランキングは、エンゲージメントタイムラインと比較して怒り、悲しみ、不安、および外部集団への敵意を低減するが、主に読者の内集団に対する外部集団の内容を減らすことによって達成されるため、エコーチャンバーのリスクがある。
• 探索的な SP タイムラインは、エンゲージメントの恩恵でのエンゲージメント効果に匹敵する一方で、分裂的内容を減らす可能性があるが、ツイート集が限られている現実のダイナミクスのため、トレードオフは今後の研究が必要である。

Figure 2: The distribution of political tweets and out-group animosity. The graph on the left shows the distribution of political tweets in each timeline, categorized by whether they align with the reader’s in-group, out-group, or are moderate. Meanwhile, the graph on the right delineates the propor