[논문 리뷰] Quantifying How Hateful Communities Radicalize Online Users

Matheus Schmitz, Keith Burghardt외 1명|arXiv (Cornell University)|2022. 09. 19.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 연구는 레딧 데이터를 대상으로 중단된 시계열(ITS) 분석을 사용하여, 증오 심각한 온라인 커뮤니티에 가입하는 것이 사용자들이 다른 서브레딧에서 증오 발언을 사용하는 데에 인과적으로 기여함을 입증한다. 인종차별, 성차별, 비만 혐오 커뮤니티 전반에 걸쳐 뚜렷한 확산 효과가 관찰되었으며, 연구 결과는 극단화가 에코 캐빈 내부에만 국한되지 않고 플랫폼 전역으로 퍼질 수 있음을 시사한다. 이는 이러한 커뮤니티를 규제하면 플랫폼 전반의 증오 발언이 감소할 수 있음을 시사한다.

ABSTRACT

While online social media offers a way for ignored or stifled voices to be heard, it also allows users a platform to spread hateful speech. Such speech usually originates in fringe communities, yet it can spill over into mainstream channels. In this paper, we measure the impact of joining fringe hateful communities in terms of hate speech propagated to the rest of the social network. We leverage data from Reddit to assess the effect of joining one type of echo chamber: a digital community of like-minded users exhibiting hateful behavior. We measure members' usage of hate speech outside the studied community before and after they become active participants. Using Interrupted Time Series (ITS) analysis as a causal inference method, we gauge the spillover effect, in which hateful language from within a certain community can spread outside that community by using the level of out-of-community hate word usage as a proxy for learned hate. We investigate four different Reddit sub-communities (subreddits) covering three areas of hate speech: racism, misogyny and fat-shaming. In all three cases we find an increase in hate speech outside the originating community, implying that joining such community leads to a spread of hate speech throughout the platform. Moreover, users are found to pick up this new hateful speech for months after initially joining the community. We show that the harmful speech does not remain contained within the community. Our results provide new evidence of the harmful effects of echo chambers and the potential benefit of moderating them to reduce adoption of hateful speech.

연구 동기 및 목표

• 증오 심각한 온라인 커뮤니티에 가입하는 것이 넓은 사회적 네트워크 내에서 증오 발언 사용 증가로 이어지는지 조사하기.
• 커뮤니티 가입이 원천 커뮤니티 외부에서 사용자의 증오 발언 행동에 미치는 인과적 영향을 정량화하기.
• 증오 발언이 에코 캐빈을 넘어서 퍼져나가는지 평가하기, 이는 그러한 콘텐츠가 고립되어 있다는 가정에 도전하기 위해.
• 인과 추론 방법을 사용하여 극단주의 서브레딧에 가입한 후의 장기적 행동 영향을 평가하기.
• 정책적 시사점을 제공하기 위해, 극단적인 온라인 커뮤니티를 규제하거나 격리하는 데서 기대할 수 있는 이점들을 입증하기.

제안 방법

• 특정 서브레딧에 가입한 후의 증오 발언 사용 변화를 모델링하기 위해 인과 추론 방법으로 중단된 시계열(ITS) 분석을 사용하였다.
• 인종차별, 성차별, 비만 혐오를 다루는 네 가지 다른 서브레딧에 맞춤형 고정밀 증오 발언 어휘집을 구축하였다.
• 증오 심각한 서브레딧에 가입한 사용자와 그렇지 않은 유사한 사용자를 비교하기 위해 제어-처리 사용자 매칭을 사용하였다.
• 게시물과 댓글의 어휘 매칭을 기반으로 한 프록시 측정치를 사용하여 사용자들의 증오 발언 사용을 시간에 따라 추적하였다.
• 다양한 시간 밴드위드스에 따라 효과 크기의 탄력성을 평가하기 위해 민감도 분 析를 실시하였다.
• ITS 모델에 제어군을 포함시켜 기초 증오 발언 수준의 사전 차이를 통제하였다.

실험 결과

연구 질문

• RQ1 증오 심각한 서브레딧에서 활동을 시작하면 다른 서브레딧에서 증오 발언 사용이 증가하는가?
• RQ2 증오 심각한 커뮤니티에 가입한 후의 영향은 얼마나 오래 지속되며, 커뮤니티 외부에서 증오 발언 사용이 증가하는가?
• RQ3 편향된 커뮤니티에서 증오 발언이 메인스트림 플랫폼 영역으로 확산되는 측정 가능한 효과가 있는가?
• RQ4 사용자가 커뮤니티를 떠난 후 증오 발언 어휘를 얼마나 오랫동안 수용하고 유지하는가?
• RQ5 인종차별, 성차별, 비만 혐오 등의 서로 다른 증오 발언 유형이 커뮤니티 가입에 의해 다른 커뮤니티로 어떻게 확산되는가?

주요 결과

• ITS 분석을 통해 증오 심각한 서브레딧에 가입하면 사용자들이 다른 서브레딧에서 증오 발언 사용이 즉각적이고 유의미하게 증가함을 확인하였다.
• 사용자가 커뮤니티에 가입한 후 수개월 간 증오 발언 사용 증가가 지속됨으로써 장기적인 행동 변화가 있음을 시사한다.
• 모든 세 가지 증오 발언 유형—인종차별, 성차별, 비만 혐오—이 각각의 커뮤니티에서 측정 가능한 확산 효과를 보였다.
• 사용자들은 가입 전에 증오 발언 사용이 점차 증가하는 경향을 보였으며, 이는 일부 사전 경향이 있음을 시사하지만, 가입 후 증가 분석 결과는 커뮤니티 가입과의 인과관계가 확인되었다.
• 일부 사용자들이 커뮤니티 외부에서 가장 격한 표현을 줄였지만, 전체적인 증오 발언 수준은 여전히 높게 유지되었다.
• 이 연구는 증오 심각한 커뮤니티가 극단화 허브 역할을 하여 경계를 넘어서 증오 발언을 확산시킨다는 인과적 증거를 제공하며, 표적 규제의 필요성을 뒷받침한다.