[논문 리뷰] Detecting the Hate Code on Social Media

Rijul Magu, Kshitij Joshi외 1명|arXiv (Cornell University)|2017. 03. 16.

Hate Speech and Cyberbullying Detection참고 문헌 9인용 수 9

한 줄 요약

이 논문은 극단주의자가 인종적·민족적 용어를 무해한 단어로 대체하여 감지되는 것을 피하는 'coded hate speech'를 탐지하기 위한 기계학습 시스템을 제안한다 (예: 유대인을 위해 'Skype' 사용). 품사 분석 및 사전 처리된 트윗을 대상으로 서포트 벡터 머신(SVM) 분류기를 적용한 결과, 악성 사용 여부를 79.4% 정확도로 구분하였으며, 이러한 콘텐츠를 꾸준히 유포하는 고빈도 사용자 또한 식별하여 극단주의적 행동 패턴 연구를 가능하게 하였다.

ABSTRACT

Social media has become an indispensable part of the everyday lives of millions of people around the world. It provides a platform for expressing opinions and beliefs, communicated to a massive audience. However, this ease with which people can express themselves has also allowed for the large scale spread of propaganda and hate speech. To prevent violating the abuse policies of social media platforms and also to avoid detection by automatic systems like Google's Conversation AI, racists have begun to use a code (a movement termed Operation Google). This involves substituting references to communities by benign words that seem out of context, in hate filled posts or Tweets. For example, users have used the words Googles and Bings to represent the African-American and Asian communities, respectively. By generating the list of users who post such content, we move a step forward from classifying tweets by allowing us to study the usage pattern of these concentrated set of users.

연구 동기 및 목표

• 공격적인 용어를 무해한 동의어로 위장하여 감지되는 것을 피하기 위해 사회적 미디어에서 'coded hate speech'를 탐지하는 것.
• 반복적으로 코딩된 혐오 콘텐츠를 게시하는 사용자를 식별하여 그들의 행동 패턴 분석을 가능하게 하는 것.
• 트윗 내 코드어의 정당한 사용과 혐오 동기를 가진 사용을 구분할 수 있는 시스템을 개발하는 것.
• 신규로 등장하는 코드어 탐지 가능성과 혐오를 조장하는 사용자 간 네트워크 구조 탐색 가능성 탐구.
• 정치적 또는 사회적 불안정 기간 동안 코딩된 혐오 발언 사용이 증가하는지 평가하는 것.

제안 방법

• 2016년 9월 23일부터 10월 18일까지 웹 스크래퍼(Jefferson-Henrique 스크립트)를 사용해 수백만 건 이상의 트윗을 수집하고, 알려진 코드어에 초점을 맞춤.
• 토큰의 어간 추출,标 punctuations, 불용어, 희귀어 제거를 통해 트윗을 사전 처리함.
• 학습 데이터에서 가장 빈도가 높은 어휘를 기반으로 각 트윗에 대해 bag-of-words 특징 벡터 표현을 구성함.
• 1,999건의 주석이 부여된 트윗(비악성 951건, 악성 1,048건)을 대상으로 선형 커널 SVM 분류기를 10겹 교차검증으로 학습.
• 23,401건의 영어 테스트 세트(전체의 10%)를 평가하여 예측 결과 도출 및 악성 콘텐츠 식별.
• 예측된 악성 트윗에서 사용자 핸들 추출하고, 빈도 ≥4인 히وري스틱 임계값을 적용해 고빈도 공격자 식별.

실험 결과

연구 질문

• RQ1 기계학습 모델이 소셜 미디어 게시물에서 코드어의 악성 사용과 비악성 사용을 효과적으로 구분할 수 있는가?
• RQ2 코딩된 혐오 발언을 반복적으로 사용하는 사용자는 누구이며, 그들의 행동 패턴은 어떤 특징을 가지는가?
• RQ3 정치적 또는 사회적 긴장 기간 동안 코딩된 혐오 발언 사용이 눈에 띄게 증가하는가?
• RQ4 시스템이 온라인 논의에서 새로운 코드어가 등장함에 따라 자동으로 탐지할 수 있는가?
• RQ5 코딩된 혐오 발언을 게시하는 사용자들이 연결된 네트워크 또는 공통된 공동체 구조를 형성하는가?

주요 결과

• SVM 분류기는 테스트 세트에서 정확도 79.4397%, 정밀도 0.795, 재현율 0.794를 기록함.
• 시스템은 83.3%의 악성 트윗을 정확히 분류함(재현율), 비악성 트윗의 75.2%는 참 양성률로 정확히 식별함.
• 코딩된 혐오 콘텐츠를 반복적으로 게시하는 고빈도 사용자를 최소한의 오진을 동반해 최적의 임계값 빈도 4로 식별함.
• 악성 트윗에서 상관관계가 높은 용어로는 '#MAGA', '#MAWA', '#ALTRIGHT', 'white' 등이 있으며, 이는 우익 극단주의적 이데올로기와의 연관성을 시사함.
• 'gas'라는 단어는 혐오 발언과 높은 상관관계를 보였으며, 특히 'gas the skypes'와 같은 표현에서 폭력적 행동을 요청하는 신호로 나타남.
• 후속 연구에서 새로운 코드어는 관찰되지 않아 관찰 기간 동안 안정적이지만 진화하는 어휘 체계를 유지함.