[논문 리뷰] The Aftermath of Disbanding an Online Hateful Community

Haji Mohammad Saleem, Derek Ruths|arXiv (Cornell University)|2018. 04. 19.

Obesity and Health Practices참고 문헌 10인용 수 34

한 줄 요약

이 연구는 레딧의 대규모 혐오스러운 서브레딧 r/fatpeoplehate(FPH) 금지 이후의 영향을 분석하여, 금지로 인해 사용자 참여가 크게 감소하고, 회원들이 다른 곳으로 재조직하는 것을 저지당했다는 것을 밝혀냈다. 단기적으로는 대체 커뮤니티를 만들려는 尝시가 있었지만, FPH 사용자들은 플랫폼 및 모더레이터 조치로 인해 대부분 무력화되었고, 이로 인해 지속적인 이탈과 레딧 내 혐오 발언 활동 감소가 발생했다.

ABSTRACT

Harassing and hateful speech in online spaces has become a common problem for platform maintainers and their users. The toxicity created by such content can discourage user participation and engagement. Therefore, it is crucial for and a common goal of platform managers to diminish hateful and harmful content. Over the last year, Reddit, a major online platform, enacted a policy of banning sub-communities (subreddits) that they deem harassing, with the goal of diminishing such activities. We studied the effects of banning the largest hateful subreddit (r/fatpeoplehate or FPH) on the users and other subreddits that were associated with it. We found that, while a number of outcomes were possible --- in this case the subreddit ban led to a sustained reduced interaction of its members (FPH users) with the Reddit platform. We also found that the many counter-actions taken by FPH users were short-lived and promptly neutralized by both Reddit administrators and the admins of individual subreddits. Our findings show that forum-banning can be an effective means by which to diminish objectionable content. Moreover, our detailed analysis of the post-banning behavior of FPH users highlights a number of the behavioral patterns that banning can create.

연구 동기 및 목표

• 레딧에서 활동적인 대규모 혐오스러운 온라인 커뮤니티를 금지했을 때 발생하는 행동적 및 체계적 결과를 이해하기 위해.
• 서브레딧을 금지하는 것이 혐오 발언을 실제로 줄이는지, 아니면 단지 그 뿌리를 숨기는지 조사하기 위해.
• 사용자와 다른 서브레딧이 주요 혐오스러운 커뮤니티의 해체에 어떻게 반응하는지 분석하기 위해.
• 플랫폼 관리자와 모더레이터가 이러한 금지 조치의 후속 조치를 어떻게 관리하는지 평가하기 위해.
• 커뮤니티 수준의 금지 조치 이후 사용자 참여도와 콘텐츠 노출도에 미치는 장기적 영향을 평가하기 위해.

제안 방법

• r/fatpeoplehate(FPH) 금지 이전, 동안, 이후의 사용자 활동과 댓글 수를 종단적 분석하였다.
• FPH 사용자들이 다른 서브레딧으로의 이동 패턴을 추적하였으며, 특히 r/fatlogic, r/fatpeopelstories, r/loseit을 중심으로 분석하였다.
• 레딧 관리자와 서브레딧 모더레이터가 FPH 사용자 활동에 대응해 취한 모더레이션 조치를 모니터링하였다.
• 커뮤니티 수준의 저항을 평가하기 위해 댓글 다운투표와 삭제 수를 분석하였다.
• 금지 이후 참여도 변화를 정량화하여, 댓글 수와 사용자 유지를 평가하였다.
• 행정적 조치를 통해 새로운 혐오 중심 서브레딧 생성을 방지하는 데 성공했는지 평가하였다.

실험 결과

연구 질문

• RQ1 금지된 혐오스러운 서브레딧의 회원들은 플랫폼 전반에 걸쳐 계속해서 참여할 수 있는가?
• RQ2 금지된 사용자들은 새로운 서브레딧에서 자신의 커뮤니티를 성공적으로 재창조할 수 있는가? 그리고 플랫폼 수준의 간섭은 이러한 시도를 얼마나 효과적으로 방지하는가?
• RQ3 다른 서브레딧과 그 모더레이터는 금지된 사용자와 혐오 발언 콘텐츠 유입에 어떻게 반응하는가?
• RQ4 커뮤니티 금지가 플랫폼 전반의 혐오스러운 콘텐츠 노출도와 양에 얼마나 영향을 미치는가?
• RQ5 사용자 주도 모더레이션 조치(예: 다운투표, 삭제)는 금지 후 혐오 발언을 얼마나 효과적으로 억제하는가?

주요 결과

• r/fatpeoplehate 금지로 인해 사용자 참여가 지속적으로 감소하였으며, 활동적이던 FPH 기여자 중 다수는 레딧에서 댓글 활동을 완전히 중단하였다.
• FPH 사용자들은 대체 서브레딧을 만들려는 尝시를 보였지만, 레딧 관리자에 의해 빠르게 금지되어 재조직 능력이 제한되었다.
• r/fatlogic, r/fatpeopelstories, r/loseit 등의 관련 서브레딧으로의 FPH 사용자 방문 수가 증가했지만, 이러한 커뮤니티들은 접근을 제한하고 FPH 관련 콘텐츠를 모더레이션을 통해 제거하였다.
• 전반적인 FPH 댓글의 다운투표 수는 줄었지만, 다운투표된 댓글 중 더 높은 비율이 혐오스러운 내용을 담고 있었으며, 이는 목표 지향적 커뮤니티 저항을 시사한다.
• 레딧 관리자와 서브레딧 모더레이터의 조율된 조치가 금지 후 혐오 발언 확산을 효과적으로 무력화시켰으며, 이는 조율된 모더레이션의 중요성을 보여준다.
• 금지 조치는 핵심 사용자들의 이탈과 타당한 대체 커뮤니티 부족으로 인해 FPH 관련 콘텐츠의 플랫폼 전반의 존재감을 줄이는 데 성공하였다.