[논문 리뷰] Whose Opinions Matter? Perspective-aware Models to Identify Opinions of Hate Speech Victims in Abusive Language Detection

Sohail Akhtar, Valerio Basile외 1명|arXiv (Cornell University)|2021. 06. 30.

Hate Speech and Cyberbullying Detection참고 문헌 47인용 수 27

한 줄 요약

논문은 분극(P-index)을 기반으로 주석자를 그룹으로 나누어 관점 인식 모델을 개발하고, 그룹별 골드 스탠다드를 생성하며, 다수의 관점을 반영한 앙상블 방법을 이용해 남용적 언어 탐지를 개선한다. 또한 혐오 발언의 피해자가 주석한 다중 관점 데이터셋을 포함한다.

ABSTRACT

Social media platforms provide users the freedom of expression and a medium to exchange information and express diverse opinions. Unfortunately, this has also resulted in the growth of abusive content with the purpose of discriminating people and targeting the most vulnerable communities such as immigrants, LGBT, Muslims, Jews and women. Because abusive language is subjective in nature, there might be highly polarizing topics or events involved in the annotation of abusive contents such as hate speech (HS). Therefore, we need novel approaches to model conflicting perspectives and opinions coming from people with different personal and demographic backgrounds. In this paper, we present an in-depth study to model polarized opinions coming from different communities under the hypothesis that similar characteristics (ethnicity, social background, culture etc.) can influence the perspectives of annotators on a certain phenomenon. We believe that by relying on this information, we can divide the annotators into groups sharing similar perspectives. We can create separate gold standards, one for each group, to train state-of-the-art deep learning models. We can employ an ensemble approach to combine the perspective-aware classifiers from different groups to an inclusive model. We also propose a novel resource, a multi-perspective English language dataset annotated according to different sub-categories relevant for characterising online abuse: hate speech, aggressiveness, offensiveness and stereotype. By training state-of-the-art deep learning models on this novel resource, we show how our approach improves the prediction performance of a state-of-the-art supervised classifier.

연구 동기 및 목표

• 다양한 주석자 관점을 모델링함으로써 혐오 발언 주석의 주관성을 동기 부여하고 이를 해결한다.
• 분극 기반의 주석자 그룹화 방법을 도입하여 그룹별 골드 스탠다드를 생성한다.
• 이주민을 피해자로 포함한 주석자의 배경 정보를 포함하는 다중 관점의 영어 데이터셋을 개발한다.
• 관점 기반 데이터에서 최첨단 모델을 학습시켜 베이스라인 분류기 대비 개선을 평가한다.
• 주석자 간의 분극 효과와 주제가 주석자 불일치를 유발하는 원인을 분석하여 데이터셋 생성 및 모델링에 정보를 제공한다.

제안 방법

• 개별 메시지에서 주석자의 관점 분극을 측정하기 위해 분극 지수(P-index)를 정의하고 계산한다.
• 평균 분극을 최대화하는 분할을 전수 조사하여 주석자들을 두 그룹으로 나눈다.
• 그룹별 골드 스탠다드를 생성하고 각 그룹의 데이터에서 관점별 분류기를 학습시킨다.
• 관점 인식 분류기를 결합하는 포용적(Inclusive) 앙상블 분류기를 활용하여 포용적 예측을 수행한다.
• 필요시 P-index에 반비례하도록 학습 인스턴스를 재복제하여 학습 데이터의 분극을 줄인다.
• 트랜스포머 기반 모델(BERT 등)과 최신 NLP 기법을 활용해 다중 관점 데이터셋에서 분류기를 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 RQ1: 주석자의 분극을 어떻게 측정하고 활용하여 배경 정보가 있든 없든 관점 그룹으로 주석자들을 분할할 수 있는가?
• RQ2 RQ2: 인스턴스 수준의 분극 측정이 주석자 분극을 유도하는 주제나 문제를 드러낼 수 있는가?
• RQ3 RQ3: 그룹별 관점에서의 학습이 분류 성능을 향상시키는가, 그리고 포용적 앙상블이 관점을 효과적으로 결합할 수 있는가?
• RQ4 RQ4: 다중 관점 데이터셋이 혐오 발언 주석에서 피해자의 배경이 미치는 역할을 어떻게 밝히는가?

주요 결과

• 분극 기반 그룹화와 그룹별 골드 스탠다드가 기본 방법에 비해 감독 학습 기반 혐오 발언 탐지 성능을 향상시킬 수 있다.
• P-index는 고도로 분극된 메시지와 분극과 연관된 주제나 키워드를 식별하는 데 도움을 준다.
• 관점 인식 모델이 그룹별 데이터에서 학습될 때 비관점 베이스라인에 비해 정확도, 정밀도, 재현율, F1이 향상된다.
• 관점 인식 모델을 결합하는 포용적 앙상블 분류기가 가능하며 혐오 발화를 드물고 주관적인 현상으로 인식하는 것과 일치한다.
• 이주민 및 기타 배경 정보로 주석된 데이터셋은 분극 원인과 주석 품질에 대한 더 깊은 통찰을 가능하게 한다.