[论文解读] All That's Happening behind the Scenes: Putting the Spotlight on Volunteer Moderator Labor in Reddit

Hanlin Li, Brent Hecht+1 more|arXiv (Cornell University)|May 28, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文利用来自126个子版面和900多名管理员的私密管理员日志的独特数据集，研究了Reddit上志愿管理员的隐性劳动。研究发现，仅通过可见的管理操作会严重低估总管理工作的实际量，凸显了平台必须更好地认可并支持这种无形但至关重要的劳动。

ABSTRACT

Online volunteers are an uncompensated yet valuable labor force for many social platforms. For example, volunteer content moderators perform a vast amount of labor to maintain online communities. However, as social platforms like Reddit favor revenue generation and user engagement, moderators are under-supported to manage the expansion of online communities. To preserve these online communities, developers and researchers of social platforms must account for and support as much of this labor as possible. In this paper, we quantitatively characterize the publicly visible and invisible actions taken by moderators on Reddit, using a unique dataset of private moderator logs for 126 subreddits and over 900 moderators. Our analysis of this dataset reveals the heterogeneity of moderation work across both communities and moderators. Moreover, we find that analyzing only visible work - the dominant way that moderation work has been studied thus far - drastically underestimates the amount of human moderation labor on a subreddit. We discuss the implications of our results on content moderation research and social platforms.

研究动机与目标

• 理解Reddit上志愿管理员劳动的完整范围，包括可见和不可见的行动。
• 弥补现有研究仅关注可见管理行为的不足，此类研究低估了管理员劳动的真实程度。
• 量化不同子版面和个体管理员之间管理工作的异质性。
• 通过揭示其劳动的规模和复杂性，倡导为志愿管理员建立更好的支持机制。
• 通过揭示维系在线社区的幕后隐藏工作，为平台设计和内容管理研究提供启示。

提出的方法

• 收集并分析了来自126个子版面的私密管理员日志的独特数据集，涵盖超过900名志愿管理员。
• 区分可见管理行为（如删除帖子、编辑评论）与不可见行为（如私信、内部讨论、用户不可见的内容审查）。
• 量化了各子版面和个体管理员在可见与不可见管理活动中的数量与分布。
• 使用统计分析比较管理工作的负荷，并识别管理实践中的异质性模式。
• 运用管理员日志中的定性洞察来解释定量发现，理解管理决策背后的动机与挑战。
• 将仅基于可见行为的发现与全面日志进行对比，以证明对管理劳动的严重低估。

实验结果

研究问题

• RQ1 在Reddit的总管理工作中，有多少是用户无法察觉的、且未被可见操作日志所记录的？
• RQ2 管理工作的负荷在不同子版面和个体管理员之间有多大差异？
• RQ3 在维系子版面社区的过程中，可见与不可见管理行为的相对比例是多少？
• RQ4 依赖仅可见指标在多大程度上扭曲了我们对志愿管理劳动规模与复杂性的理解？
• RQ5 这些发现对平台设计和志愿管理员支持具有何种影响？

主要发现

• 仅通过可见管理行为会严重低估子版面的总管理劳动量，不可见行为占总工作量的相当大比例。
• 管理劳动在不同子版面之间存在高度异质性，部分社区严重依赖用户不可见的内部协调与讨论。
• 个体管理员在活动水平和行为类型上存在显著差异，部分管理员主要执行不可见工作，如私人沟通和内容筛选。
• 本研究发现，私密管理员日志包含关键背景信息——如内部决策过程与协调机制——而这些在公开指标中完全缺失。
• 研究结果表明，仅依赖可见行为会导致对志愿管理劳动真实规模与复杂性的根本性误判。
• 本研究强调，平台必须开发新的指标与支持系统，以纳入对不可见管理劳动的考量，从而维系社区健康。