[论文解读] Exploring Content Moderation in the Decentralised Web: The Pleroma Case

Anaobi Ishaku Hassan, Aravindh Raman+5 more|arXiv (Cornell University)|Oct 26, 2021

Internet Traffic Analysis and Secure E-voting被引用 5

一句话总结

本研究分析了去中心化网络平台 Pleroma 的内容审核政策，发现 97.7% 的用户和 97.8% 的帖子受到实例级联邦政策的影响，其中 95.8% 的被封禁用户未被归类为有害用户，表明存在严重的附带损害。本文提出针对性的用户级或实例级政策，以在保持审核有效性的同时减少非预期伤害。

ABSTRACT

Decentralising the Web is a desirable but challenging goal. One particular challenge is achieving decentralised content moderation in the face of various adversaries (e.g. trolls). To overcome this challenge, many Decentralised Web (DW) implementations rely on federation policies. Administrators use these policies to create rules that ban or modify content that matches specific rules. This, however, can have unintended consequences for many users. In this paper, we present the first study of federation policies on the DW, their in-the-wild usage, and their impact on users. We identify how these policies may negatively impact "innocent" users and outline possible solutions to avoid this problem in the future.

研究动机与目标

• 调查联邦政策在去中心化网络内容审核中的实际影响。
• 评估实例级封禁政策对无辜用户造成的附带损害程度。
• 分析政策如何影响跨联邦实例的用户影响力与内容可见性。
• 识别当前审核实践中导致非有害用户被过度封禁的缺陷。
• 提出可操作的、细粒度的政策机制，以减少非预期后果，同时保持审核有效性。

提出的方法

• 在 5 个月内收集了 1298 个 Pleroma 实例的大规模数据集，包含 2450 万条帖子、11 万名用户以及 46 种不同的审核政策。
• 通过 Pleroma 的公开 API 提取并分析联邦政策，对规则-动作对进行分类，重点关注拒绝、媒体移除和标记等操作。
• 使用 Google 的 Perspective API 对用户帖子进行有害性分类，以比较被封禁用户与实际有害内容之间的差异。
• 映射政策在各实例中的应用情况，以识别过度封禁和政策重叠的模式。
• 提出三种原型政策设计：(1) 针对已知问题实例的精选封禁列表，(2) 用户级标记以实现针对性审核，(3) 基于重复举报次数或有害性阈值的自动化触发机制。
• 通过关联政策应用与跨联邦实例的有害性评分及用户影响力，评估政策影响。

实验结果

研究问题

• RQ1 Pleroma 实例级审核政策在多大程度上影响了更广泛的用户群体，包括非违规用户？
• RQ2 被封禁实例上的用户实际有害性水平与他们所产生有害内容的比例相比如何？
• RQ3 管理员最常使用的政策类型和操作是什么？这些政策在实例间如何应用？
• RQ4 是否可以重新设计政策机制，以减少附带损害，同时保持有效的内容审核？
• RQ5 自动化工具和社区维护的列表在提高审核精确度方面发挥什么作用？

主要发现

• Pleroma 实例中 97.7% 的用户和 97.8% 的帖子受到至少一项审核政策的影响，表明联邦政策的影响近乎全面。
• 拒绝操作（即封禁整个实例）最为常见，影响了 86.2% 的用户和 88.5% 的帖子。
• 在被拒绝的实例中，95.8% 的用户未被 Google 的 Perspective API 归类为有害，揭示了全面封禁造成的巨大附带损害。
• 被封禁实例中仅有 4.2% 的用户被归类为有害，表明当前政策对非有害用户造成了不成比例的影响。
• 本研究发现，当前政策依赖粗粒度的实例级封禁，无法区分行为失当的用户与无辜用户。
• 作者提出三种改进的政策机制：精选封禁列表、用户级标记，以及基于有害性阈值或举报量的自动化触发机制，以减少附带损害。