[논문 리뷰] HERDPhobia: A Dataset for Hate Speech against Fulani in Nigeria

Saminu Mohammad Aliyu, Gregory Maksha Wajiga외 4명|arXiv (Cornell University)|2022. 11. 28.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 네이버리아에서 풀라니 유목민을 대상으로 하는 다국어(영어, 하우사어, 나이지리안 피진어) 혐오 발언 데이터셋인 HERDPhobia를 소개한다. 이 데이터셋은 수작업으로 1,131개의 혐오 발언, 5,007개의 비혐오 발언, 36개의 모호한 트윗을 레이블링하였다. 미세조정된 사전학습된 언어 모델을 사용하여 XLM-T가 99.83%의 가중 F1 스코어를 기록하며, 저자원 아프리카 NLP 환경에서 혐오 발언 탐지에 매우 효과적임을 입증하였다.

ABSTRACT

Social media platforms allow users to freely share their opinions about issues or anything they feel like. However, they also make it easier to spread hate and abusive content. The Fulani ethnic group has been the victim of this unfortunate phenomenon. This paper introduces the HERDPhobia - the first annotated hate speech dataset on Fulani herders in Nigeria - in three languages: English, Nigerian-Pidgin, and Hausa. We present a benchmark experiment using pre-trained languages models to classify the tweets as either hateful or non-hateful. Our experiment shows that the XML-T model provides better performance with 99.83% weighted F1. We released the dataset at https://github.com/hausanlp/HERDPhobia for further research.

연구 동기 및 목표

• 네이버리아의 풀라니 민족을 대상으로 하는 다국어 환경에서의 수작업 레이블링된 혐오 발언 데이터셋이 부족한 문제를 해결하기 위해.
• 특히 트위터와 같은 소셜 미디어에서 풀라니 유목민을 대상으로 하는 혐오 발언 탐지를 위한 벤치마크 데이터셋을 구축하기 위해.
• 이 새로운 데이터셋에서 사전학습된 언어 모델의 성능을 평가하여 향후 아프리카 언어 분야의 NLP 연구를 지원하기 위해.
• 개인정보를 익명화하고 책임감 있는 혐오 발언 탐지 촉진을 통해 윤리적 AI에 기여하기 위해.

제안 방법

• 영어(97.2%), 하우사어(1.8%), 나이지리안 피진어(1%)로 구성된 세 언어에서 풀라니, 소, 유목민과 관련된 키워드를 사용해 총 6,174개의 트윗을 수집하였다.
• Warner와 Hirschberg(2012)의 지침을 따르며, 세 명의 평가자가 다수결 투표 방식을 통해 세 클래스로 분류: 혐오(HT), 비혐오(NHT), 모호함(IND)으로 나누었다.
• 모호한 트윗(n=36)은 학습 및 평가에서 제외하여 최종적으로 892개의 HT와 3,523개의 NHT 트윗을 모델 학습에 사용하였다.
• 동일한 초모수를 사용해 세 개의 다국어 사전학습 언어 모델(XLM-T, mBERT, AfriBERTa)을 정제된 데이터셋에 대해 미세조정하였다: 20 에포크, 배치 크기 32, 시퀀스 길이 128.
• 보류된 테스트 세트에서 가중 F1 스코어를 사용해 모델 성능을 평가하였으며, XLM-T가 가장 뛰어난 성능을 보였다.
• 모든 개인 식별 정보를 익명화하여 사용자 언급을 '@user'로 대체하여 윤리적인 데이터 처리를 보장하였다.

실험 결과

연구 질문

• RQ1 사전학습된 다국어 언어 모델은 네이버리아에서 풀라니 유목민을 대상으로 하는 혐오 발언 탐지에서 어떤 성능을 보이는가?
• RQ2 저자원 아프리카 NLP 환경에서, 다양한 언어 간의 모델 성능은 어떻게 달라지는가?
• RQ3 다국어 및 문화적으로 민감한 맥락에서 혐오 발언을 분류하는 데 있어, 평가자 간 일致도는 얼마나 복잡성을 반영하는가?
• RQ4 HERDPhobia와 같은 다국어 데이터셋은 아프리카의 소수 민족 집단에 대한 강력한 혐오 발언 탐지 시스템 개발을 뒷받침할 수 있는가?
• RQ5 데이터셋에서 영어의 지배적 우세성(97.2%)이 XLM-T와 같은 다국어 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• HERDPhobia 데이터셋은 총 6,174개의 수작업 레이블링된 트윗을 포함하며, 혐오 발언 1,131개, 비혐오 발언 5,007개, 모호한 발언 36개로 구성되었으며, Fleiss 카파 상관도는 57%를 기록하였다.
• XLM-T는 테스트 세트에서 가중 F1 스코어 99.83%를 기록하여 mBERT(80.96%)와 AfriBERTa(78.07%)를 모두 앞서는 최고의 성능을 보였다.
• XLM-T의 뛰어난 성능은 그 모델이 영어로 사전학습되어 있어, 데이터셋에서 지배적인 언어(97.2% 영어 트윗)와 잘 맞아떨어지기 때문으로 분석된다.
• 혐오 발언은 남부 나이지리아 주에서 가장 빈번하게 나타났으며, 라고스가 가장 많은 트윗(100개)을 기록하여, 이전에 보고된 네이버리아 내 민족 간 혐오 발언의 경향과 일치한다.
• 모든 개인 식별 정보를 대체한 채 GitHub에 데이터셋을 공개하여 윤리적 사용과 개인정보 보호 준수를 보장하였다.
• 이 연구는 아프리카 NLP 분야에서 소외된 민족 집단을 대상으로 한 혐오 발언 탐지에 대한 기초 벤치마크를 구축하였으며, 향후 다른 소수 민족 집단과 혐오 유형으로의 확장 가능성이 있다.