[논문 리뷰] Understanding Online Migration Decisions Following the Banning of Radical Communities

Giuseppe Russo, Manoel Horta Ribeiro외 2명|arXiv (Cornell University)|2022. 12. 09.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 연구는 RECRO 극단화 프레임워크의 개인적 및 사회적 요인이 주류 플랫폼에서 금지된 커뮤니티 후 사용자들이 극단주의 플랫폼으로의 이주를 결정하거나, 금지된 주류 플랫폼과 대체 플랫폼 양쪽에서 활동을 유지하는 데 어떤 영향을 미치는지 조사한다. r/The_Donald과 r/fatpeoplehate에 대한 이원회귀 분석을 통해 개인 수준의 반성 요인(예: 독성, 정서성)이 이주를 이끄는 반면, 사회적 유대 요인(예: 사전 이주자들과의 상호작용)은 이중 플랫폼 활동을 증가시켜 플랫폼 이주와 이중 플랫폼 활동의 배경이 되는 동기가 서로 다름을 밝혀냈다.

ABSTRACT

The proliferation of radical online communities and their violent offshoots has sparked great societal concern. However, the current practice of banning such communities from mainstream platforms has unintended consequences: (I) the further radicalization of their members in fringe platforms where they migrate; and (ii) the spillover of harmful content from fringe back onto mainstream platforms. Here, in a large observational study on two banned subreddits, r/The\_Donald and r/fatpeoplehate, we examine how factors associated with the RECRO radicalization framework relate to users' migration decisions. Specifically, we quantify how these factors affect users' decisions to post on fringe platforms and, for those who do, whether they continue posting on the mainstream platform. Our results show that individual-level factors, those relating to the behavior of users, are associated with the decision to post on the fringe platform. Whereas social-level factors, users' connection with the radical community, only affect the propensity to be coactive on both platforms. Overall, our findings pave the way for evidence-based moderation policies, as the decisions to migrate and remain coactive amplify unintended consequences of community bans.

연구 동기 및 목표

• 주류 플랫폼에서 커뮤니티 금지 후 사용자들이 극단주의 플랫폼으로 이주하는 데 영향을 미치는 요인을 이해하기 위해.
• 사용자들의 이중 플랫폼 활동(주류 플랫폼과 극단주의 플랫폼 양쪽에서 게시)이 개인적 및 사회적 요인과 어떻게 관련되어 있는지 분석하기 위해.
• 극단주의 커뮤니티 금지의 뜻하지 않은 결과, 예를 들어 극단화 증가 및 유해 콘텐츠 유출을 평가하기 위해.
• RECRO 프레임워크 요소 중 이주와 이중 플랫폼 활동을 예측하는 요소를 특정함으로써 근거 기반의 모더레이션 정책을 제안하기 위해.

제안 방법

• 사용자들의 결정을 모델링하기 위해 이원회귀 분석을 수행함: (1) 극단주의 플랫폼으로의 이주, (2) 두 플랫폼에서의 이중 플랫폼 활동.
• r/The_Donald과 r/fatpeoplehate의 사용자 수준 행동 지표를 RECRO 프레임워크 요소의 대체 지표로 사용함: 반성(독성, 정서성), 탐색(관심사의 다양성, 참여도), 유대(사전 금지된 사용자들과의 상호작용, 최근 가입자).
• 로지스틱 회귀 모델을 적용하여 RECRO 요소 기반으로 이주 및 이중 플랫폼 활동의 확률을 추정함.
• 사용자를 네 가지 행동 유형으로 분류함: MP-only(주류 플랫폼 전용), FP-only(극단주의 플랫폼 전용), 이중 플랫폼 활동자, 비활동자.
• RECRO 요소의 영향을 분리하기 위해 사용자 수준의 인구통계학적 요소와 플랫폼 특화 행동을 제어함.
• 다른 이념을 가진 두 개의 별개의 금지된 서브레딧을 사용하여 결과의 탄력성을 검증함.

실험 결과

연구 질문

• RQ1 RECRO 프레임워크의 개인 수준 요소 중 어떤 것이 커뮤니티 금지 후 사용자들의 극단주의 플랫폼 이주를 예측하는가?
• RQ2 특히, 금지된 커뮤니티 내 다른 사용자들과의 상호작용이 주류 플랫폼과 극단주의 플랫폼 양쪽에서의 이중 플랫폼 활동 가능성에 어떤 영향을 미치는가?
• RQ3 사용자들의 온라인 관심사의 다양성(탐색)이 금지 후 주류 플랫폼에서 활동을 유지하는 데 얼마나 기여하는가?
• RQ4 금지된 커뮤니티의 사전 이주자들과 상호작용하는 사용자는 양 플랫폼에서의 이중 플랫폼 활동 가능성이 더 높은가, 낮은가?

주요 결과

• 온라인 독성(TOX)과 정서성(EMO) 수준이 높은 사용자들은 극단주의 플랫폼으로의 이주 가능성이 유의미하게 높아, 개인의 심리적 및 행동적 특성이 이주 결정을 이끄는 것으로 나타남.
• 이미 극단주의 플랫폼으로 이주한 사용자들과의 상호작용(APB)은 r/The_Donald에서 이중 플랫폼 활동 가능성을 최대 70% 증가시켜, 사전 이주자들과의 사회적 유대가 이중 플랫폼 활동을 강력히 예측함을 보여줌.
• 사용자들의 콘텐츠 다양성(DIV)이 30% 감소할수록 이중 플랫폼 활동 가능성이 22% 증가하여, 관심사가 좁고 집중된 사용자가 주로 두 플랫폼에서 활동을 유지함을 시사함.
• 금지된 커뮤니티의 최근 가입자들과의 상호작용을 한 사용자는 더 높은 이중 플랫폼 활동 가능성을 보였으며, 이는 지속적인 사회적 통합이 다중 플랫폼 존재를 유지하는 데 기여함을 시사함.
• 반성 요소(예: TOX, EMO)는 이중 플랫폼 활동에 통계적으로 유의미한 예측 요소로 나타나지 않아, 개인의 행동만으로는 이중 플랫폼 활동이 이뤄지지 않음을 시사함.
• 관심사의 다양성(DIV)만이 이중 플랫폼 활동과 통계적으로 유의미하게 관련된 탐색 요소로 나타나, 주류 플랫폼에서의 지속적 참여 유지에 핵심적인 역할을 함.