[논문 리뷰] All That's Happening behind the Scenes: Putting the Spotlight on Volunteer Moderator Labor in Reddit

Hanlin Li, Brent Hecht외 1명|arXiv (Cornell University)|2022. 05. 28.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 레딧의 자원봉사 모더레이터들이 수행하는 은폐된 노동을 분석한다. 126개의 서브레딧과 900명 이상의 모더레이터에서 수집한 비공개 모더레이터 로그 데이터를 유일하게 활용하여, 시각화된 모더레이션 조치만으로는 총 모더레이션 노고를 크게 과소평가하고 있음을 드러낸다. 이는 플랫폼이 이러한 보이지 않는 필수 노동을 더 잘 인식하고 지원할 필요가 있음을 시사한다.

ABSTRACT

Online volunteers are an uncompensated yet valuable labor force for many social platforms. For example, volunteer content moderators perform a vast amount of labor to maintain online communities. However, as social platforms like Reddit favor revenue generation and user engagement, moderators are under-supported to manage the expansion of online communities. To preserve these online communities, developers and researchers of social platforms must account for and support as much of this labor as possible. In this paper, we quantitatively characterize the publicly visible and invisible actions taken by moderators on Reddit, using a unique dataset of private moderator logs for 126 subreddits and over 900 moderators. Our analysis of this dataset reveals the heterogeneity of moderation work across both communities and moderators. Moreover, we find that analyzing only visible work - the dominant way that moderation work has been studied thus far - drastically underestimates the amount of human moderation labor on a subreddit. We discuss the implications of our results on content moderation research and social platforms.

연구 동기 및 목표

• 사용자에게 보이지 않는 행동까지 포함한 레딧 자원봉사 모더레이터 노고의 전반적인 범위를 이해하기 위해.
• 시각화된 조치에만 초점을 맞춘 연구가 모더레이터 노고의 진정한 수준을 과소평가한다는 점을 해결하기 위해.
• 다양한 서브레딧과 개인 모더레이터 간 모더레이션 작업의 이질성을 정량화하기 위해.
• 모더레이터의 노고의 규모와 복잡성에 대한 통찰을 제공함으로써 자원봉사 모더레이터를 위한 보다 나은 지원 체계를 마련하기 위해.
• 플랫폼 설계와 콘텐츠 모더레이션 연구에 기여하기 위해, 온라인 커뮤니티를 유지하는 데 기여하는 뒷받질되는 숨겨진 작업을 폭 드러내기 위해.

제안 방법

• 126개의 서브레딧에서 수집한 비공개 모더레이터 로그 데이터를 유일하게 확보하고 분석하였다.
• 사용자에게 보이는 조치(예: 게시물 삭제, 댓글 편집)와 보이지 않는 조치(예: 개인 메시지, 내부 논의, 사용자에게 보이지 않는 콘텐츠 검토)를 구분하였다.
• 서브레딧과 개인 모더레이터 간에 시각화된 조치와 보이지 않는 조치의 양과 분포를 정량화하였다.
• 통계적 분석을 통해 모더레이션 작업량을 비교하고, 모더레이션 관행의 이질성 패턴을 식별하였다.
• 모더레이터 로그에서 도출된 질적 인사이트를 활용하여 정량적 결과를 해석하고, 모더레이션 결정의 동기와 과제를 이해하였다.
• 공개된 지표만을 사용한 결과와 종합적인 로그를 대조하여, 모더레이션 노고가 어떻게 과소평가되고 있는지 입증하였다.

실험 결과

연구 질문

• RQ1 사용자에게 보이지 않으며, 시각화된 조치 로그에 기록되지 않는 레딧의 총 모더레이션 노고 중 얼마나 많은 비율을 차지하는가?
• RQ2 서브레딧과 개인 모더레이터 간에 모더레이션 작업량이 얼마나 다양하게 나타나는가?
• RQ3 서브레딧 커뮤니티 유지에 있어 시각화된 조치와 보이지 않는 조치의 상대적 비율은 어느 정도인가?
• RQ4 시각화된 조치만을 기반으로 한 지표에 의존할 경우, 자원봉사 모더레이터 노고의 규모와 복잡성에 대한 이해가 얼마나 왜곡되는가?
• RQ5 이러한 발견은 플랫폼 설계와 자원봉사 모더레이터 지원에 어떤 함의를 지닌다?

주요 결과

• 사용자에게 보이는 조치만으로는 서브레딧의 총 모더레이션 노고를 크게 과소평가하고 있으며, 보이지 않는 조치가 총 작업량의 상당 부분을 차지하고 있다.
• 서브레딧 간 모더레이션 노고는 매우 이질적이며, 일부 커뮤니티에서는 사용자에게 보이지 않는 내부 협의와 사전 조율에 크게 의존하고 있다.
• 개별 모더레이터 간 활동 수준과 행동 유형에 큰 격차가 있으며, 일부는 개인 메시지나 콘텐츠 선별과 같은 주로 보이지 않는 작업을 수행하고 있다.
• 이 연구는 비공개 모더레이터 로그가 내부 의사결정과 협업과 같은 핵심적 맥락을 담고 있으며, 이는 공개 지표에서는 전혀 반영되지 않는다는 점을 드러냈다.
• 결과적으로, 시각화된 조치만으로는 자원봉사 모더레이션의 진정한 규모와 복잡성에 대한 근본적인 오해를 초래한다는 점을 입증하였다.
• 이 연구는 플랫폼이 보이지 않는 모더레이션 노고를 반영할 수 있는 새로운 지표와 지원 체계를 개발할 필요가 있음을 강조한다. 이는 커뮤니티 건강 유지에 기여할 것이다.