[논문 리뷰] Hate Lingo: A Target-based Linguistic Analysis of Hate Speech in Social Media

Mai ElSherief, Vivek Kulkarni외 3명|arXiv (Cornell University)|2018. 04. 11.

Hate Speech and Cyberbullying Detection인용 수 43

한 줄 요약

이 논문은 대상에 따라 혐오 발언을 구분한다(Directed vs Generalized), 데이터세트를 구축하고, 언어적, 심리언어학적, 및 의미론적 패턴을 분석하여 혐오 발언의 이해와 탐지를 개선한다.

ABSTRACT

While social media empowers freedom of expression and individual voices, it also enables anti-social behavior, online harassment, cyberbullying, and hate speech. In this paper, we deepen our understanding of online hate speech by focusing on a largely neglected but crucial aspect of hate speech -- its target: either "directed" towards a specific person or entity, or "generalized" towards a group of people sharing a common protected characteristic. We perform the first linguistic and psycholinguistic analysis of these two forms of hate speech and reveal the presence of interesting markers that distinguish these types of hate speech. Our analysis reveals that Directed hate speech, in addition to being more personal and directed, is more informal, angrier, and often explicitly attacks the target (via name calling) with fewer analytic words and more words suggesting authority and influence. Generalized hate speech, on the other hand, is dominated by religious hate, is characterized by the use of lethal words such as murder, exterminate, and kill; and quantity words such as million and many. Altogether, our work provides a data-driven analysis of the nuances of online-hate speech that enables not only a deepened understanding of hate speech and its social implications but also its detection.

연구 동기 및 목표

• 대상에 따라 혐오 발언을 식별하고 특징화한다: Directed (toward an individual) vs Generalized (toward a protected group).
• Directed와 Generalized 혐오 트윗의 강건한 분석을 위한 고품질 데이터셋을 구축한다.
• 두 혐오 발언 형태를 구분하는 어휘적, 의미론적, 및 심리언어학적 패턴을 밝힌다.
• 혐오 발언의 탐지, 정책, 사회적 영향에 대한 시사점을 평가한다.
• 담론 정책을 알리면서 혐오 발언 탐지를 개선하기 위한 데이터 기반 인사이트를 제공한다.

제안 방법

• 1% Twitter 스트리밍 데이터에서 다수의 혐오 발언 데이터셋을 구축한다(핵심 구문 기반 및 해시태그 기반), 공개 데이터셋 및 NHSM 데이터를 포함하여.
• Perspective API 독성 및 attack_on_commenter 모델을 적용해 고품질 혐오 발언 후보를 선별하고 Directed성(언급 및 2인칭 대명사)을 보장한다.
• 다수의 주석가를 포함한 인간 주석(Crowdflower)을 사용해 Directed vs Generalized 혐오 발언을 라벨링하고 주석자 간 일치도(inter-annotator reliability)를 계산한다.
• SAGE를 사용한 어휘 분석으로 각 범주별 핵심 단어를 추출하고 도메인 특화 엔터티를 중심으로 명명 실체 인식(T-NER)을 수행한다.
• LIWC2015를 사용한 심리언어학적 분석으로 분석적 사고, 권력, 진정성, 정서 등과 같은 차원을 측정한다.
• SemaFor를 활용해 프레임 의미를 주석하고 Directed, Generalized, Gen-1% 트윗 간 프레임을 비교한다.
• Directed vs Generalized 혐오 발언을 대조하기 위해 엔터티 분포, 의미 프레임 및 LIWC 지표를 분석한다.

실험 결과

연구 질문

• RQ1 Directed 혐오 발언과 Generalized 혐오 발언을 구분하는 언어적 및 심리언어학적 마커는 무엇인가?
• RQ2 사회적 미디어에서 Directed와 Generalized 혐오 발언 간 어휘적, 의미 프레임 및 엔터티 패턴은 어떻게 다른가?
• RQ3 대상 기반 구분이 혐오 발언 탐지 및 정책에 어떤 시사점을 갖는가?

주요 결과

• Directed 혐오 발언은 더 개인적이고 비공식적이며 분노가 더 크고 Generalized 혐오 발언보다 권력이 더 높은 경향이 있다.
• Generalized 혐오 발언은 종교 관련 용어가 지배적이고 살상적 표현(kill, murder, exterminate)과 수량 단어(million, many)를 포함한다.
• 명명 엔터티 분석은 Directed 혐오에 사람 엔터티가 더 많이 포함되어 있고 Generalized 혐오에는 더 많은 종교 및 집단 관련 엔터티가 특징이다.
• LIWC 분석은 Directed 혐오가 분석적 사고가 낮고 비공식적 및 사회적 언어가 더 많으며 분노가 더 큰 반면, Generalized 혐오는 더 높은 진정성 및 정서와 종교 중심 내용이 더 많이 나타난다.
• 프레임 의미 분석은 Directed 혐오가 의도적 행위와 방해를 강조하는 반면, Generalized 혐오는 Killing, Religion, 및 Quantity 프레임을 강조한다.
• SAGE를 통해 학습된 두 범주 간 현저한 단어의 중복이 거의 없고 각 혐오 발언 유형에 고유한 주제 도메인이 있다.