[논문 리뷰] LAHM : Large Annotated Dataset for Multi-Domain and Multilingual Hate Speech Identification

Ankit Yadav, Shubham Chandel외 2명|arXiv (Cornell University)|2023. 04. 03.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 영어, 히브리어, 아랍어, 프랑스어, 독일어, 스페인어 6개 언어와 5개 혐오 발언 유형(모욕, 성차별, 인종차별, 종교적 증오, 극단주의)을 포함하는 약 30만 건의 트윗을 담은 대규모 다국어·다도메인 혐오 발언 데이터셋 LAHM을 소개한다. 데이터셋은 단일언어, 다국어, 교차언어 모델을 조합한 3단계 주석 처리 파이프라인을 통해 구축되었으며, 다국어, 교차언어, 제로샷 혐오 발언 탐지 작업에서 최신 기술 수준의 성능을 달성한다. 특히 다국어 소수 샘플 분류기는 아랍어와 프랑스어를 제외한 대부분의 언어에서 단일언어 BERT 모델을 능가한다.

ABSTRACT

Current research on hate speech analysis is typically oriented towards monolingual and single classification tasks. In this paper, we present a new multilingual hate speech analysis dataset for English, Hindi, Arabic, French, German and Spanish languages for multiple domains across hate speech - Abuse, Racism, Sexism, Religious Hate and Extremism. To the best of our knowledge, this paper is the first to address the problem of identifying various types of hate speech in these five wide domains in these six languages. In this work, we describe how we created the dataset, created annotations at high level and low level for different domains and how we use it to test the current state-of-the-art multilingual and multitask learning approaches. We evaluate our dataset in various monolingual, cross-lingual and machine translation classification settings and compare it against open source English datasets that we aggregated and merged for this task. Then we discuss how this approach can be used to create large scale hate-speech datasets and how to leverage our annotations in order to improve hate speech detection and classification in general.

연구 동기 및 목표

• 다양한 언어와 혐오 발언 유형을 포함하는 대규모 다국어·다도메인 혐오 발언 데이터셋이 부족한 문제를 해결하기 위해.
• 단일언어, 다국어, 교차언어 모델을 융합한 확장 가능한 반감독 주석 처리 파이프라인을 개발하여 효율적인 데이터 레이블링을 가능하게 하기 위해.
• 단일언어, 다국어, 교차언어 환경에서 최신 전이 학습 모델을 사용해 데이터셋을 평가하기 위해.
• 저자원 언어와 대표성이 떨어지는 도메인에 대해 제로샷 및 소수 샘플 학습을 가능하게 하기 위해.
• 혐오 발언 탐지에서 교차언어 전이와 도메인 일반화를 평가하기 위한 벤치마크를 제공하기 위해.

제안 방법

• 3단계 주석 처리 파이프라인을 사용함: 첫째, 모델을 단일언어 데이터에 맞추어 미세조정함; 둘째, 교차언어 데이터에 기반한 다국어 모델을 훈련함; 셋째, 저자원 언어에 대해 교차언어 제로샷 모델을 적용함.
• 인간-자동화 레이블링과 모델 기반 투표를 조합하여 데이터셋을 구축함. 최종 레이블링을 위해 최소 2개의 모델 예측이 필요함.
• 다국어 이진 분류기를 사용해 고수준 혐오 탐지 수행. 소수 샘플 학습을 통해 훈련된 이 모델은 대부분의 언어에서 단일언어 BERT 모델보다 뛰어난 성능을 보임.
• 제로샷 전이 학습을 활용해 교차언어 다도메인 분류를 평가함. HSmerge 데이터셋을 활용해 토닝함.
• 기계 번역 기반 다도메인 분류를 적용해 비영어 텍스트를 영어로 번역한 후 모델 추론을 수행하고, 레이블을 집계함.
• 예측 신뢰도 향상을 위해 모델 앙상블을 사용함. 예를 들어 BERT, Perspective API, 다국어 분류기 등 여러 모델의 투표를 통해 최종 레이블을 결정함.

Figure 1: Overall Annotation Pipeline Architecture

실험 결과

연구 질문

• RQ1 반감독적, 다단계 주석 처리 파이프라인은 다국어 및 다도메인 혐오 발언 데이터셋의 확장성 있는 제작에 효과적인가?
• RQ2 다국어 소수 샘플 분류기는 다양한 언어에서 교차언어 혐오 발언 탐지에서 단일언어 BERT 모델보다 어떻게 비교되는가?
• RQ3 제로샷 교차언어 전이 학습은 언어와 혐오 발언 도메인 간에 얼마나 일반화되는가?
• RQ4 히브리어, 아랍어, 독일어와 같은 저자원 언어에서 다양한 혐오 발언 유형의 레이블 분포는 어떠한가?
• RQ5 기계 번역 기반 다도메인 분류는 저자원 언어 혐오 발언 탐지에 실용적인 대안이 될 수 있는가?

주요 결과

• LAHM 데이터셋은 6개 언어와 5개 혐오 발언 유형을 포함해 약 30만 건의 트윗을 포함하며, 이는 유사한 종류의 가장 큰 알려진 데이터셋이다.
• 다국어 소수 샘플 분류기는 아랍어와 프랑스어를 제외한 대부분의 언어에서 단일언어 BERT 모델을 능가하는 성능을 보였다.
• 히브리어의 경우, Perspective API는 31%의 샘플을 혐오로 분류했지만, 다국어 분류기는 12%로 분류하여 탐지에 있어 모델 특유의 편향이 있음을 시사한다.
• 아랍어에서는 다국어 분류기가 73%의 혐오 샘플을 성차별 또는 극단주의로 분류하여 언어별로 특화된 분포 패턴을 드러냈다.
• 프랑스어에서는 32%의 샘플이 모욕으로 분류되었고, 종교적 증오는 8.3%로 가장 낮은 비율을 차지했다.
• 기계 번역 기반 다도메인 모델은 12,312건을 모욕으로, 12,681건을 극단주의로 예측하여 언어 간 높은 모델 변동성을 보였다.

Figure 2: bleu scores for model translations