[논문 리뷰] Hate is not Binary: Studying Abusive Behavior of #GamerGate on Twitter

Despoina Chatzakou, Nicolas Kourtellis외 4명|arXiv (Cornell University)|2017. 05. 09.

Hate Speech and Cyberbullying Detection인용 수 22

한 줄 요약

이 연구는 #GamerGate 트위터 논란에서 폭력적 행동을 분석하여, 공격적인 콘텐츠를 게시함에도 불구하고 게이머게이트 유저들이 일반 사용자보다 기쁨을 덜 표현하는 것으로 드러났다. 비지도 군집화와 지도 학습 분류를 사용하여 정지 예측에 높은 정밀도와 재현율을 달성하는 행동 특징을 규명하였으며, 해로운 활동을 하면서도 폭력적 사용자가 감지되지 않는 이유를 밝혀냈다.

ABSTRACT

Over the past few years, online bullying and aggression have become increasingly prominent, and manifested in many different forms on social media. However, there is little work analyzing the characteristics of abusive users and what distinguishes them from typical social media users. In this paper, we start addressing this gap by analyzing tweets containing a great large amount of abusiveness. We focus on a Twitter dataset revolving around the Gamergate controversy, which led to many incidents of cyberbullying and cyberaggression on various gaming and social media platforms. We study the properties of the users tweeting about Gamergate, the content they post, and the differences in their behavior compared to typical Twitter users. We find that while their tweets are often seemingly about aggressive and hateful subjects, "Gamergaters" do not exhibit common expressions of online anger, and in fact primarily differ from typical users in that their tweets are less joyful. They are also more engaged than typical Twitter users, which is an indication as to how and why this controversy is still ongoing. Surprisingly, we find that Gamergaters are less likely to be suspended by Twitter, thus we analyze their properties to identify differences from typical users and what may have led to their suspension. We perform an unsupervised machine learning analysis to detect clusters of users who, though currently active, could be considered for suspension since they exhibit similar behaviors with suspended users. Finally, we confirm the usefulness of our analyzed features by emulating the Twitter suspension mechanism with a supervised learning method, achieving very good precision and recall.

연구 동기 및 목표

• 폭력적 게이머게이트 유저와 일반 트위터 사용자 간 행동 차이를 이해하는 것.
• 공격적인 콘텐츠를 게시하고도 트위터에서 게이머게이트 유저들이 비례적으로 정지되지 않는 이유를 조사하는 것.
• 정지된 계정과 유사한 행동을 보이는 활동 유저의 행동 군집을 특정하는 것.
• 지도 학습 모델의 성능을 평가하여 트위터의 정지 메커니즘을 모방할 수 있는지 확인하는 것.

제안 방법

• 트위터의 #GamerGate 논란을 중심으로 대규모 데이터셋을 수집하고 정제하였다.
• 게이머게이트 유저와 무작위 트위터 사용자 간 행동, 정서, 네트워크 참여도를 비교 분석하였다.
• 비지도 기계학습을 적용하여 정지 유사 행동을 보이는 활동 유저 군집을 탐지하였다.
• 감정 및 활동 관련 특징을 사용하여 지도 분류기를 훈련시어 사용자 상태(활동 중, 삭제됨, 정지됨)를 예측하였다.
• GG 및 기준 데이터셋에서 정밀도, 재현율, ROC-AUC 지표를 사용해 모델 성능을 평가하였다.
• 계정 삭제 패턴과 자가 삭제한 사용자의 정서 프로파일을 분석하였다.

실험 결과

연구 질문

• RQ1 게이머게이트 유저의 행동 패턴은 일반 트위터 사용자와 어떻게 다를까?
• RQ2 공격적인 콘텐츠를 게시하고도 트위터에서 게이머게이트 유저들이 비율적으로 정지되지 않는 이유는 무엇일까?
• RQ3 게이머게이트 맥락에서 정지된 사용자와 활동 중이거나 삭제된 사용자를 구분하는 특징는 무엇인가?
• RQ4 비지도 군집화가 정지된 사용자와 유사한 행동을 보이는 활동 유저를 식별할 수 있는가?
• RQ5 감정 및 행동 특징을 기반으로 지도 학습 모델이 사용자 정지 상태를 얼마나 잘 예측할 수 있는가?

주요 결과

• 게이머게이트 유저는 공격적이고 증오스러운 콘텐츠를 게시하고도 일반 사용자와 비교해 기쁨을 덜 표현하는 것이 주요 차이점이다.
• 게이머게이트 유저는 더 높은 친구 및 팔로워 수를 보이며 일반 사용자보다 더 높은 참여도를 보여, 논란의 지속성에 기여한다.
• 공격적인 콘텐츠를 게시하고도 게이머게이트 유저는 랜덤 사용자보다 정지될 가능성이 훨씬 낮다.
• 정지된 게이머게이트 유저는 정지된 랜덤 사용자보다 더 공격적인 정서, 더 나쁜 언어 사용, 더 높은 수준의 기쁨을 보였다.
• 자신의 계정을 삭제한 사용자는 가장 높은 활동 수준, 고통, 두려움, 슬픔의 징후를 보였으며, 작은 지원 네트워크를 가졌었다.
• 지도 학습 모델은 높은 성능을 보였으며, GG 데이터셋에서 평균 F1 점수는 0.88 이상, AUC 값은 0.88 초과를 기록하였다.