[论文解读] Effects of algorithmic flagging on fairness: quasi-experimental evidence from Wikipedia

Nathan TeBlunthuis, Benjamin Mako Hill+1 more|arXiv (Cornell University)|Jun 4, 2020

Wikis in Education and Collaboration参考文献 118被引用 12

一句话总结

本研究探讨了维基百科审核中算法标记对公平性的影响，通过减少对用户注册或个人资料存在等社交信号的依赖。基于RCFilters数据的准实验断点回归设计发现，算法标记提高了编辑被回退的可能性，尤其是对资深编辑而言，同时降低了撤销率，表明对善意贡献者的公平性有所提升，尽管不同类型的社交信号影响各异。

ABSTRACT

Online community moderators often rely on social signals such as whether or not a user has an account or a profile page as clues that users may cause problems. Reliance on these clues can lead to "overprofiling'' bias when moderators focus on these signals but overlook the misbehavior of others. We propose that algorithmic flagging systems deployed to improve the efficiency of moderation work can also make moderation actions more fair to these users by reducing reliance on social signals and making norm violations by everyone else more visible. We analyze moderator behavior in Wikipedia as mediated by RCFilters, a system which displays social signals and algorithmic flags, and estimate the causal effect of being flagged on moderator actions. We show that algorithmically flagged edits are reverted more often, especially those by established editors with positive social signals, and that flagging decreases the likelihood that moderation actions will be undone. Our results suggest that algorithmic flagging systems can lead to increased fairness in some contexts but that the relationship is complex and contingent.

研究动机与目标

• 评估算法标记是否减少了在线社区审核中对社交信号（如注册状态或个人资料存在）的过度依赖。
• 评估算法标记是否通过减少对具有积极社交信号用户的偏见，带来更公平的审核结果。
• 研究算法标记对审核人员行为的因果影响，特别是针对资深或注册用户所提交的编辑。
• 探讨不同类型的社交信号（如注册状态、个人页面）如何与算法标记相互作用，进而影响审核公平性。
• 为在无实验干预的真实社会技术系统中建立因果推断方法框架。

提出的方法

• 基于RCFilters系统中任意阈值的准实验断点回归设计。
• 利用ORES生成的机器学习评分识别可能具有破坏性的编辑。
• 分析处于标记阈值之上和之下的编辑的审核行为（如回退、撤销操作）。
• 比较具有不同社交信号的用户（如注册与未注册用户，有或无个人页面）的审核结果。
• 应用因果推断技术，估算算法标记对审核行为的影响。
• 使用哈佛大学Dataverse提供的复制数据集，包含ORES评分、阈值和修订数据，以确保可复现性。

实验结果

研究问题

• RQ1 算法标记是否通过减少对注册状态或个人页面等社交信号的依赖，降低了过度标记现象？
• RQ2 算法标记如何影响编辑被回退的可能性，特别是对资深编辑而言？
• RQ3 标记是否降低了审核行为被撤销的可能性，表明决策更稳定？
• RQ4 不同类型的社交信号如何与算法标记相互作用，进而影响审核公平性？
• RQ5 标记阈值在多大程度上导致了审核结果的任意性？

主要发现

• 经算法标记的编辑被回退的可能性显著更高，尤其是注册编辑且具有积极社交信号的用户。
• 资深编辑的标记编辑被回退的比例高于未标记编辑，表明对社交信号的依赖程度降低。
• 对标记编辑的审核行为更少被撤销，表明决策更稳定，争议更少。
• 标记对公平性的影响因社交信号类型而异：它减少了对未注册用户的过度标记，但增加了对无个人页面用户的过度标记。
• 标记系统中使用任意阈值导致对阈值附近编辑的关注过度集中，从而在审核结果中引入了任意性。
• 结果表明，算法标记在某些情境下可提升公平性，但根据社交信号类型的不同，也可能加剧偏见。