[논문 리뷰] The Enemy Among Us: Detecting Hate Speech with Threats Based 'Othering' Language Embeddings

Wafa Alorainy, Pete Burnap외 2명|arXiv (Cornell University)|2018. 01. 23.

Hate Speech and Cyberbullying Detection참고 문헌 49인용 수 6

한 줄 요약

이 논문은 문맥화된 단락 임베딩을 통해 Doc2Vec를 활용해 '다른 이들'에 대한 언어—예를 들어, '우리/그들'과 같은 대명사 쌍이나 '그들을 보내다' 같은 동사-대명사 패턴—을 모델링하는 새로운 NLP 프레임워크를 제안한다. 이 방법은 명시적인 증오어가 아닌 암시적이고 미묘한 증오 표현을 포착함으로써 기존 최고 수준의 모델보다 뛰어난 성능을 보이며, 각각 종교(0.93), 장애(0.86), 인종(0.97), 성적 지향(0.98)에 대해 F-측정치를 기록한다.

ABSTRACT

Offensive or antagonistic language targeted at individuals and social groups based on their personal characteristics (also known as cyber hate speech or cyberhate) has been frequently posted and widely circulated viathe World Wide Web. This can be considered as a key risk factor for individual and societal tension linked toregional instability. Automated Web-based cyberhate detection is important for observing and understandingcommunity and regional societal tension - especially in online social networks where posts can be rapidlyand widely viewed and disseminated. While previous work has involved using lexicons, bags-of-words orprobabilistic language parsing approaches, they often suffer from a similar issue which is that cyberhate can besubtle and indirect - thus depending on the occurrence of individual words or phrases can lead to a significantnumber of false negatives, providing inaccurate representation of the trends in cyberhate. This problemmotivated us to challenge thinking around the representation of subtle language use, such as references toperceived threats from "the other" including immigration or job prosperity in a hateful context. We propose anovel framework that utilises language use around the concept of "othering" and intergroup threat theory toidentify these subtleties and we implement a novel classification method using embedding learning to computesemantic distances between parts of speech considered to be part of an "othering" narrative. To validate ourapproach we conduct several experiments on different types of cyberhate, namely religion, disability, race andsexual orientation, with F-measure scores for classifying hateful instances obtained through applying ourmodel of 0.93, 0.86, 0.97 and 0.98 respectively, providing a significant improvement in classifier accuracy overthe state-of-the-art

연구 동기 및 목표

• 기존 증오 발언 탐지 방법이 명시적인 증오어에 의존하여 간접적이고 미묘한 증오 표현을 포착하지 못하는 한계를 해결하기 위해.
• '우리'와 '그들'을 분리하는 '다른 이들' 언어 특징을 맥락적 의미층으로 모델링함으로써 분류 정확도를 향상시키기 위해.
• 집단 간 위협을 암시하는 이중 대명사와 동사-대명사 패턴의 새로운 어휘를 개발하기 위해.
• 종교, 장애, 인종, 성적 지향과 같은 다양한 사이버증오 유형에 대해 이 접근법의 효과성을 검증하기 위해.
• 이러한 '다른 이들' 특징에 기반한 임베딩 기반 의미 유사도 학습이 단어 수준 또는 n-gram 특징을 넘어서 분류기 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 이 방법은 '다른 이들' 언어 특징을 암시하는 이중 대명사(예: 우리가/그들, 우리/그들)와 동사-대명사 패턴(예: 그들을 보내다, 우리를 보호하다)을 포함하는 맞춤형 '다른 이들 어휘'를 구축한다.
• 문서 수준의 임베딩을 학습하기 위해 Doc2Vec 알고리즘을 적용하여 '다른 이들' 특징과 주변 텍스트 간의 의미 유사도를 인코딩한다.
• 모델은 '다른 이들' 서사를 포함한 증오적 텍스트가 명시적인 증오어가 없더라도 임베딩 공간에서 더 가까이 군집되도록 벡터 표현을 학습한다.
• 이 접근법은 집단 간 위협 이론과 '다른 이들' 이론을 통합하여 언어적 특징을 심리학적 및 사회학적 프레임워크에 기반한다.
• 학습된 임베딩 공간에서의 의미 거리 측정을 통해 '다른 이들'에 대한 인식된 위협 패턴을 보일 경우 새로운 텍스트를 사이버증오로 분류한다.
• 이 프레임워크는 종교, 장애, 인종, 성적 지향을 대상으로 한 네 개의 사이버증오 데이터셋을 사용하여 훈련 및 평가되며, 주요 평가 지표로 F-측정치를 사용한다.

실험 결과

연구 질문

• RQ1 명시적인 증오어에 의존하는 것보다 '다른 이들' 언어 특징을 모델링함으로써 기계 학습 모델이 증오 발언을 더 효과적으로 탐지할 수 있는가?
• RQ2 언어적 특징 설계에 집단 간 위협 이론을 통합할 경우, 간접적이고 미묘한 증오 발언 탐지 능력이 어떻게 향상되는가?
• RQ3 기존의 백오브워드 또는 n-gram 접근 방식에 비해 '다른 이들' 특징의 임베딩 기반 표현 방식이 분류기 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 종교, 장애, 인종, 성적 지향과 같은 다양한 유형의 사이버증오에 대해 일반화 가능한가?
• RQ5 단일 어휘가 공격적이지 않더라도, 맥락 기반 의미 유사도 학습을 통해 모델이 명백한 증오 발언뿐 아니라 암묵적 증오 발언도 포착할 수 있는가?

주요 결과

• 제안된 방법은 종교 관련 데이터셋에서 F-측정치 0.93을 기록하여 최고의 베이스라인 모델보다 8% 향상된 성과를 보였다.
• 장애 관련 증오 발언에 대해서는 F-측정치 0.86을 기록하여 가장 강력한 베이스라인 모델보다 11% 향상된 성과를 보였다.
• 인종을 대상으로 한 증오 발언에 대해서는 F-측정치 0.97을 기록하여 이전 최고 수준의 성능보다 11% 향상된 성과를 보였다.
• 성적 지향 관련 증오 발언에 대해서는 F-측정치 0.98을 기록하여 모든 베이스라인을 앞서는 최고의 성능을 기록했다.
• 정성적 분석을 통해 모델이 집단 내/외부 어휘, 위협 관련 어휘(예: '침입', '혼란'), 행동 동사(예: '보내다', '매달리다')를 의미 공간에서 효과적으로 군집시킴으로써 서사적 구조를 잘 포착하고 있음을 확인했다.
• 모델은 명시적인 증오어가 없는 '그들을 집으로 보내다'와 같은 미묘한 증오 발언을 탐지함으로써 오답 감소를 이뤄내며 뛰어난 성능을 보였다.