[논문 리뷰] Measuring #GamerGate: A Tale of Hate, Sexism, and Bullying

Despoina Chatzakou, Nicolas Kourtellis외 4명|arXiv (Cornell University)|2017. 02. 24.

Hate Speech and Cyberbullying Detection참고 문헌 15인용 수 10

한 줄 요약

이 연구는 2014년 8월부터 2015년 초까지 340,000명의 사용자로부터 수집한 160만 개의 트윗 데이터셋을 활용하여 트위터에서 게이머게이트 논란을 측정하고, 정서 분석 및 혐오 발언 분석을 적용하여 게이머게이트 참가자들과 무작위 트위터 사용자 간의 비교를 수행한다. 연구 결과, 게이머게이터들은 더 높은 참여도, 더 부정적인 정서, 더 낮은 기쁨을 보이며, 분노가 높아진 것은 아니지만, 기준 사용자들보다 훨씬 낮은 비율로 정지당하고 있음을 확인했다. 이는 조작된 온라인 괴롭힘을 탐지하고 억제하는 데 있어 체계적인 과제가 있음을 드러낸다.

ABSTRACT

Over the past few years, online aggression and abusive behaviors have occurred in many different forms and on a variety of platforms. In extreme cases, these incidents have evolved into hate, discrimination, and bullying, and even materialized into real-world threats and attacks against individuals or groups. In this paper, we study the Gamergate controversy. Started in August 2014 in the online gaming world, it quickly spread across various social networking platforms, ultimately leading to many incidents of cyberbullying and cyberaggression. We focus on Twitter, presenting a measurement study of a dataset of 340k unique users and 1.6M tweets to study the properties of these users, the content they post, and how they differ from random Twitter users. We find that users involved in this "Twitter war" tend to have more friends and followers, are generally more engaged and post tweets with negative sentiment, less joy, and more hate than random users. We also perform preliminary measurements on how the Twitter suspension mechanism deals with such abusive behaviors. While we focus on Gamergate, our methodology to collect and analyze tweets related to aggressive and bullying activities is of independent interest.

연구 동기 및 목표

• 트위터에서의 조직적 온라인 괴롭힘 사례로서 게이머게이트 논란을 정량적으로 분석하는 것.
• 게이머게이트 사용자와 무작위 트위터 사용자의 행동 및 언어 패턴을 비교하여 특징을 규명하는 것.
• 게이머게이트 기간 동안 트위터의 정지 메커니즘이 폭력적 행동을 다루는 데 얼마나 효과적인지 평가하는 것.
• 소셜 미디어 플랫폼에서 공격적이고 괴롭힘 성향의 콘텐츠를 탐지하고 분석하는 데 일반화 가능한 방법론을 개발하는 것.

제안 방법

• 트위터 API와 키워드 기반 필터링을 활용하여 2014년 8월부터 2015년 초까지 게이머게이트를 다룬 160만 개의 트윗을 340,000명의 고유 사용자로부터 수집하였다.
• 트윗 내용과 참여 패턴을 바탕으로 사용자를 게이머게이트(GG) 및 기준(무작위) 그룹으로 분류하였다.
• 6개 정서 모델(분노, 혐오, 두려움, 기쁨, 슬픔, 놀라움)을 사용하여 트윗의 정서적 분위기를 평가하기 위해 정서 분석을 적용하였다.
• Hatebase API를 사용하여 단어의 모욕성 수준을 0~100 스케일로 평가하고, 사용자 그룹별 평균 점수를 산출하였다.
• 계정 상태(활성, 삭제, 정지)를 분석하여 게이머게이트 사용자와 기준 사용자 간의 정지 비율을 비교하였다.
• 두 표본 카오그로프-스미르노프(KS) 검정을 사용하여 게이머게이트 사용자와 기준 사용자 간의 정서 및 정서 점수 분포를 비교하였다.

실험 결과

연구 질문

• RQ1 게이머게이트 사용자의 참여도, 네트워크 규모, 정서적 특성 측면에서 무작위 트위터 사용자와의 행동 패턴은 어떻게 다를까?
• RQ2 게이머게이트 트윗의 정서적 분위기는 특히 분노와 기쁨 측면에서 기준 콘텐츠와 비교해 어떻게 다를까?
• RQ3 게이머게이트 사용자들이 무작위 사용자들에 비해 트위터에 얼마나 자주 정지되었는가? 이는 플랫폼 감시의 효과성에 대해 어떤 시사점을 갖는가?
• RQ4 게이머게이트 사용자와 기준 사용자 간에 혐오 발언과 모욕적 언어 사용은 얼마나 다른가?

주요 결과

• 게이머게이트 사용자들은 더 높은 참여도를 보이며, 더 많은 친구와 팔로워를 보유하고 있으며, 더 많은 트윗을 생성한다.
• 게이머게이트 사용자들은 더 부정적인 정서(25%의 음성 정서 대비 기준 그룹의 15%)를 보이며, 기쁨 수준이 낮다. 다만 분노 수준은 유의미하게 높아지지 않았다.
• Hatebase에서의 평균 혐오 발언 점수는 게이머게이트 사용자 기준 0.25, 기준 사용자 기준 0.06이며, 통계적으로 유의미한 차이가 있다(p < 0.01).
• 게이머게이트 사용자의 정지 비율은 9%이며, 기준 사용자에 비해 20%로 더 낮다. 이는 트위터의 감지 및 집행 능력이 떨어짐을 시사한다.
• 더 높은 참여도와 더 많은 모욕적 콘텐츠를 보였음에도 게이머게이트 사용자들은 정지될 가능성이 더 낮다. 이는 현재 플랫폼 감시 시스템의 한계를 드러낸다.
• 연구는 게이머게이트 사용자들이 분노가 증가한 것이 아니라 기쁨 수준이 떨어진다는 점에서 가장 두드러진 차이를 보이며, 온라인 괴롭힘에서 극심한 정서 표현이 반드시 동반된다는 가정을 도전한다.