[论文解读] Quarantined! Examining the Effects of a Community-Wide Moderation Intervention on Reddit

Eshwar Chandrasekharan, Shagun Jhaver+2 more|arXiv (Cornell University)|Sep 24, 2020

Hate Speech and Cyberbullying Detection被引用 7

一句话总结

本研究评估了Reddit的“隔离”干预措施——一种通过设计摩擦限制争议子版块可见性和访问权限的机制——对r/TheRedPill（TRP）和r/The_Donald（TD）的影响。基于超过8500万条帖子的因果推断分析显示，该措施分别使新用户流入量减少了79.5%和58%，且未降低现有用户的仇恨言论水平，表明其能有效限制社区扩张，同时不改变内部话语生态。

ABSTRACT

Should social media platforms override a community's self-policing when it repeatedly break rules? What actions can they consider? In light of this debate, platforms have begun experimenting with softer alternatives to outright bans. We examine one such intervention called quarantining, that impedes direct access to and promotion of controversial communities. Specifically, we present two case studies of what happened when Reddit quarantined the influential communities r/TheRedPill (TRP) and r/The_Donald (TD). Using over 85M Reddit posts, we apply causal inference methods to examine the quarantine's effects on TRP and TD. We find that the quarantine made it more difficult to recruit new members: new user influx to TRP and TD decreased by 79.5% and 58%, respectively. Despite quarantining, existing users' misogyny and racism levels remained unaffected. We conclude by reflecting on the effectiveness of this design friction in limiting the influence of toxic communities and discuss broader implications for content moderation.

研究动机与目标

• 评估Reddit的社区级管理干预措施——隔离——对争议子版块用户招募和话语的影响。
• 评估隔离作为一种较温和的禁令替代方案，能否在不压制言论自由的前提下限制有害内容的传播。
• 理解此类设计摩擦是否改变了有毒社区中现有用户的行为，还是仅影响新用户获取。
• 探讨隔离对在线平台内容管理策略的更广泛影响。

提出的方法

• 应用因果推断方法，利用双重差分框架与对照社区，分析隔离前后用户行为的变化。
• 收集并分析了来自TRP和TD的超过8500万条Reddit帖子，包括时间戳、用户活动及帖子级情感分析，以追踪用户流入和话语质量。
• 基于30天的缓冲期定义“新用户”，以区分真正的新用户与重新激活的用户，确保招募趋势测量的准确性。
• 将界面级设计变更——如警告界面、从搜索和r/all信息流中移除——作为隔离干预的核心机制。
• 通过分析Reddit的API和搜索索引行为，追踪可见性和访问权限的变化，确认被隔离的子版块不再向普通用户展示。
• 使用基于NLP的情感分析方法衡量话语毒性，重点关注隔离前后用户评论中性别歧视和种族主义言论的水平。

实验结果

研究问题

• RQ1 隔离如何影响r/TheRedPill和r/The_Donald等争议子版块的新用户招募速度？
• RQ2 隔离是否降低了这些社区中现有用户群体的性别歧视或种族主义言论水平？
• RQ3 该干预在多大程度上改变了被隔离子版块内容在平台整体范围内的可见性和可发现性？
• RQ4 被隔离社区的长期行为与社会动态如何，特别是其封闭性与用户留存情况？

主要发现

• 隔离使r/TheRedPill（TRP）的新用户流入量减少了79.5%，显著限制了该社区通过自然发现机制扩张的能力。
• 隔离后，r/The_Donald（TD）的新用户招募量减少了58%，表明其影响显著但较TRP而言不那么剧烈。
• 尽管新成员数量减少，TRP和TD中的现有用户仍保持高水平的性别歧视和种族主义言论，表明内部毒性水平无明显变化。
• 隔离成功地通过将社区从搜索结果、r/all以及非订阅用户的信息流中移除，实现了对两个社区的平台级隔离。
• 该干预未导致现有成员用户活跃度或参与度的显著上升，表明未引发反弹或动员效应。
• 研究结果支持将隔离作为一种有效的设计摩擦策略，可在不改变现有话语基调的前提下限制社区增长，为内容审查与不作为之间提供一种可行的折中方案。