[논문 리뷰] Spillover of Antisocial Behavior from Fringe Platforms: The Unintended Consequences of Community Banning

Giuseppe Russo, Luca Verginer외 2명|arXiv (Cornell University)|2022. 09. 20.

Hate Speech and Cyberbullying Detection참고 문헌 39인용 수 4

한 줄 요약

이 연구는 레딧과 같은 메인스트림 플랫폼에서 반사회적 온라인 커뮤니티 금지가 초래하는 뜻하지 않은 결과를 조사하며, 금지된 커뮤니티에서 이주한 사용자들이 프랙탈 플랫폼에서 높은 규제 수준을 보이는 곳에서 레딧에서 더욱 높은 독성 및 규범 위반 행동을 보이는 것으로 나타났다. 금지된 커뮤니티(r/The_Donald, r/GenderCritical, r/Incels)에서 약 70,000명의 사용자를 대상으로 한 차이의 차이(DiD) 설계를 통해 저자들은 프랙탈 플랫폼에서의 장기적인 참여가 레딧에서의 독성 수준을 유의미하게 높이며, 이는 시간이 지남에 따라 심화되고 활동 수준이 높을수록 더욱 두드러진다는 것을 보여주었다.

ABSTRACT

Online platforms face pressure to keep their communities civil and respectful. Thus, the bannings of problematic online communities from mainstream platforms like Reddit and Facebook are often met with enthusiastic public reactions. However, this policy can lead users to migrate to alternative fringe platforms with lower moderation standards and where antisocial behaviors like trolling and harassment are widely accepted. As users of these communities often remain co-active across mainstream and fringe platforms, antisocial behaviors may spill over onto the mainstream platform. We study this possible spillover by analyzing around 70,000 users from three banned communities that migrated to fringe platforms: r/The_Donald, r/GenderCritical, and r/Incels. Using a difference-in-differences design, we contrast co-active users with matched counterparts to estimate the causal effect of fringe platform participation on users' antisocial behavior on Reddit. Our results show that participating in the fringe communities increases users' toxicity on Reddit (as measured by Perspective API) and involvement with subreddits similar to the banned community -- which often also breach platform norms. The effect intensifies with time and exposure to the fringe platform. In short, we find evidence for a spillover of antisocial behavior from fringe platforms onto Reddit via co-participation.

연구 동기 및 목표

• 메인스트림 플랫폼에서 반사회적 커뮤니티 금지가 공동 활동자들을 통해 동일 플랫폼으로 빈번한 행동 유출을 초래하는지 조사하기.
• 커뮤니티 금지 이후 프랙탈 플랫폼에의 참여가 레딧에서의 사용자 반사회적 행동에 미치는 인과적 영향 평가하기.
• 프랙탈 플랫폼에서의 시간과 활동 수준이 행동 유출 정도에 미치는 영향 평가하기.
• 공동 활동자들을 반사회적 행동 유출의 핵심 매개체로 식별함으로써 플랫폼 거버넌스에 정보 제공하기.
• 독성을 악화시키지 않는 더 효과적인 조정 정책을 위한 근거 기반 권고 제시하기.

제안 방법

• 공동 활동자(레딧과 프랙탈 플랫폼 양쪽에서 활동)와 일치된 레딧 전용 사용자 간 비교를 위한 차이의 차이(DiD) 인과 추론 설계를 사용.
• 금지된 세 개의 레딧 커뮤니티(r/The_Donald, r/GenderCritical, r/Incels)의 종단적 데이터를 활용하여, 금지 이후 약 70,000명의 사용자를 추적.
• 레딧에서의 반사회적 행동을 파erspectivE API 독성 점수를 사용해 측정함. 이는 기계학습 기반 도구로 독성, 무례하거나 방해적인 콘텐츠를 탐지하도록 훈련됨.
• 사전 금지 기간 동안의 행동과 인구통계적 지표를 기반으로 일치된 제어군(레딧 전용 사용자)을 구성하여 비교 가능성을 확보.
• 행동 유출의 시간적 동역학을 평가하기 위해 독성 수준과 방문한 서브레딧의 변화 추적.
• ユーザ이름 변경으로 인한 공동 활동자에 대한 오분류 가능성을 고려하여, 합리적인 가정 하에 결과의 탄력성 분석.

실험 결과

연구 질문

• RQ1 커뮤니티 금지 이후 프랙탈 플랫폼에의 참여가 원래 메인스트림 플랫폼에서의 반사회적 행동 증가로 이어지는가?
• RQ2 프랙탈 플랫폼에서의 지속 기간과 활동 수준이 레딧에서 행동 유출의 정도에 어떤 영향을 미치는가?
• RQ3 양쪽 플랫폼에서 활동하는 공동 활동자들이 레딧에서만 활동하는 사용자들보다 규범 위반 행동을 더 자주 보이는가?
• RQ4 금지된 커뮤니티가 프랙탈 플랫폼으로 이주하는 것은 커뮤니티 수준의 금지 조치의 의도된 효과를 얼마나 약화시키는가?
• RQ5 플랫폼 조정 전략에서 공동 활동자를 대상으로 하면 행동 유출 효과를 완화시킬 수 있는가?

주요 결과

• 금지 후 프랙탈 플랫폼으로 이주한 공동 활동자들은 일치된 레딧 전용 사용자들보다 레딧에서 유의미하게 높은 독성 점수를 보였다.
• 레딧에서의 독성 증가가 즉각적인 것이 아니라 시간이 지남에 따라 심화되어, 프랙탈 플랫폼 장기 노출의 누적 효과를 시사했다.
• 프랙탈 플랫폼에서의 활동 수준이 높을수록 레딧에서의 독성 증가가 뚜렷하게 연관되어 있었으며, 이는 선량-반응 관계를 시사했다.
• 금지된 커뮤니티와 프랙탈 플랫폼 양쪽에서 공동 참여한 사용자들은 플랫폼 규범을 위반하는 다른 서브레딧에도 더 자주 참여하는 경향이 있었다.
• 결과는 커뮤니티 수준의 금지 조치가 오히려 프랙탈 플랫폼에서의 반사회적 생태계를 강화하고, 그 독성이 다시 메인스트림 플랫폼으로 유입된다는 것을 암시한다.
• 오분류 가능성(사용자 이름 변경으로 인한)을 고려할 때, 이러한 사용자들이 정확히 올바르게 라벨링된 사용자들과 유사하게 행동한다면 관측된 효과는 실제로 더 작을 수 있으므로, 본 연구 결과는 진정한 효과의 하한선에 해당한다.