[论文解读] Engagement, User Satisfaction, and the Amplification of Divisive Content on Social Media

Smitha Milli, Micah Carroll+4 more|arXiv (Cornell University)|May 26, 2023

Social Media and Politics被引用 35

一句话总结

研究论文报道了一项预注册的随机实验，显示基于参与度的排序放大情绪化、对立群体敌对内容及两极化效应，而按陈述偏好排序则减少愤怒/敌意，但可能带来回音室风险。

ABSTRACT

In a pre-registered algorithmic audit, we found that, relative to a reverse-chronological baseline, Twitter's engagement-based ranking algorithm amplifies emotionally charged, out-group hostile content that users say makes them feel worse about their political out-group. Furthermore, we find that users do \emph{not} prefer the political tweets selected by the algorithm, suggesting that the engagement-based algorithm underperforms in satisfying users' stated preferences. Finally, we explore the implications of an alternative approach that ranks content based on users' stated preferences and find a reduction in angry, partisan, and out-group hostile content, but also a potential reinforcement of pro-attitudinal content. The evidence underscores the necessity for a more nuanced approach to content ranking that balances engagement and users' stated preferences.

研究动机与目标

• 了解基于参与度的排序如何影响社交媒体上的社会政治内容与读者情绪的机制。
• 量化基于参与度的排序与反时间顺序时间线对六个社会政治结果的因果影响。
• 探讨按用户陈述偏好排序是否与用户福利和社会政治目标更一致。
• 评估以陈述偏好排序作为基于参与度排序的替代方案的潜在利弊。

提出的方法

• 进行了一项预注册的随机化的被试内设计实验（N=806），比较 Twitter 的基于参与度的时间线与反时间顺序基线。
• 收集每位参与者在两种时间线下最先看到的前十条推文，并对每条推文进行调查。
• 将结果归类为六个与内容与读者情感相关的社会政治测量（另有一个关于用户偏好的第七项测量），并使用配对置换检验进行分析。
• 还模拟了以用户陈述偏好排序（SP 时间线）为第三个条件，使用每位用户大约二十条独特的推文来评估其影响。
• 通过补充分析中的 GPT-4 标注对结果进行验证，显示定性一致性。

Figure 1: Average treatment effects for all outcomes. ATEs are shown with 95% Bootstrap confidence intervals (unadjusted for multiple testing). The effects of two different timelines are shown: (1) Twitter’s own engagement-based timeline, (2) our exploratory timeline that ranks based on users’ state

实验结果

研究问题

• RQ1 RQ1: 基于参与度的排序算法对读者的社会政治结果（情感、党派偏向与对立群体敌意）有何影响？
• RQ2 RQ2: 基于参与度的排序是否与用户对内容的明示偏好相符？
• RQ3 RQ3: 当基于用户陈述偏好进行排序时，对社会政治结果的影响是什么，以及由此带来的权衡是什么？

主要发现

• 与反时间顺序基线相比，基于参与度的排序放大了更具党派性和对立群体敌对性的内容。
• 基于参与度的推文会增加读者的愤怒、悲伤、焦虑以及对对立群体的负面看法，同时提升对本群体的积极性。
• 来自基于参与度时间线的政治推文展现出更高的愤怒表达以及读者相关愤怒（作者情感0.75标准差，读者情感0.37标准差）。
• 读者总体上表示对从参与度时间线看到的推文的渴望略高，但对参与度时间线中的政治推文的用户价值评分较低（-0.18标准差）。
• 相较于参与度时间线，以用户陈述偏好排序会降低愤怒、悲伤、焦虑和对立群体敌意，主要通过减少对读者所在群体的对立群体内容，而非减少其对立群体的内容（存在潜在的回音室风险）。
• 一项探索性的 SP 时间线可在保持参与度带来的好处的同时减少分裂性内容，需进一步研究权衡，因为推文池有限且现实世界动态复杂。

Figure 2: The distribution of political tweets and out-group animosity. The graph on the left shows the distribution of political tweets in each timeline, categorized by whether they align with the reader’s in-group, out-group, or are moderate. Meanwhile, the graph on the right delineates the propor