[論文レビュー] All That's Happening behind the Scenes: Putting the Spotlight on Volunteer Moderator Labor in Reddit

Hanlin Li, Brent Hecht+1 more|arXiv (Cornell University)|May 28, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

この論文は、126のサブレdditと900名以上のモデレータから得た非公開モデレータログの独自データセットを用いて、Reddit上でのボランティアモデレータの隠れた労働を調査している。可視化されたモデレータ行動だけでは、総モデレータ作業量を著しく低估しており、プラットフォームがこの見えないが不可欠な労働をより適切に認識し支援する必要があることを示している。

ABSTRACT

Online volunteers are an uncompensated yet valuable labor force for many social platforms. For example, volunteer content moderators perform a vast amount of labor to maintain online communities. However, as social platforms like Reddit favor revenue generation and user engagement, moderators are under-supported to manage the expansion of online communities. To preserve these online communities, developers and researchers of social platforms must account for and support as much of this labor as possible. In this paper, we quantitatively characterize the publicly visible and invisible actions taken by moderators on Reddit, using a unique dataset of private moderator logs for 126 subreddits and over 900 moderators. Our analysis of this dataset reveals the heterogeneity of moderation work across both communities and moderators. Moreover, we find that analyzing only visible work - the dominant way that moderation work has been studied thus far - drastically underestimates the amount of human moderation labor on a subreddit. We discuss the implications of our results on content moderation research and social platforms.

研究の動機と目的

• 可視化された行動に加え、非可視の行動を含めたReddit上でのボランティアモデレータ労働の全容を理解すること。
• 可視化されたモデレータ行動にのみ焦点を当てた研究のギャップを是正し、モデレータ労働の真の規模を過小評価している問題を解決すること。
• 異なるサブレdditおよび個々のモデレータ間で、モデレータ作業の多様性を定量化すること。
• モデレータ労働の規模と複雑さを明らかにすることで、ボランティアモデレータに対するより良い支援メカニズムの構築を提言すること。
• オンラインコミュニティを維持する背後にある隠れた作業を暴露することで、プラットフォーム設計およびコンテンツモデレーション研究に貢献すること。

提案手法

• 126のサブレdditから得た非公開モデレータログの独自データセットを収集・分析した。
• 可視化されたモデレータ行動（例：投稿の削除、コメントの編集）と非可視の行動（例：プライベートメッセージ、内部会議、ユーザーに見えないコンテンツレビュー）を区別した。
• サブレdditおよび個々のモデレータにおける可視的および非可視的モデレータ活動の量と分布を定量化した。
• 統計的分析を用いてモデレータ作業負荷を比較し、モデレータ行動の多様性のパターンを同定した。
• モデレータログからの定性的な知見を活用し、定量的結果を文脈づけ、モデレータ意思決定の背後にある動機と課題を理解した。
• 可視化のみの指標と包括的なログの結果を対比することで、モデレータ労働がいかに低估されているかを示した。

実験結果

リサーチクエスチョン

• RQ1 Reddit上でのモデレータ労働のどの程度がユーザーには見えず、可視行動ログに捉えられていないか？
• RQ2 サブレdditや個々のモデレータによって、モデレータ作業負荷はどの程度異なるか？
• RQ3 サブレdditコミュニティの維持にあたって、可視的行動と非可視的行動の相対的な割合はどの程度か？
• RQ4 可視化のみの指標に依存することは、ボランティアモデレータ労働の規模と複雑さをどのように歪めているか？
• RQ5 これらの発見が、プラットフォーム設計およびボランティアモデレータ支援にどのような意味を持つのか？

主な発見

• 可視化されたモデレータ行動だけでは、サブレdditにおける総モデレータ労働量を著しく低估しており、非可視的行動が総作業量の大幅な割合を占めていることが判明した。
• モデレータ労働はサブレddit間で顕著に多様であり、一部のコミュニティではユーザーに見えない内部会議や協働作業に大きく依存している。
• 個々のモデレータは活動レベルや行動の種別において顕著に異なる。一部のモデレータは、プライベートコミュニケーションやコンテンツの事前審査といった非可視的作業を主に行っている。
• 本研究は、内部意思決定や調整の重要な文脈が、非可視のモデレータログにのみ存在し、公開指標には一切反映されていないことを明らかにした。
• 可視行動にのみ依存することは、ボランティアモデレータ労働の真の規模と複雑さを根本的に誤解させる結果となっている。
• 本研究は、プラットフォームが非可視のモデレータ労働を考慮に入れた新しい指標および支援システムを構築する必要があることを強調している。