[논문 리뷰] Highly Generalizable Models for Multilingual Hate Speech Detection

Neha Deshpande, Nicholas Farris외 1명|arXiv (Cornell University)|2022. 01. 27.

Hate Speech and Cyberbullying Detection인용 수 9

한 줄 요약

이 논문은 LASER와 MUSE를 활용한 언어에 구애받지 않는 임베딩 및 mBERT와 CNN-GRU 아키텍처를 사용하여 매우 일반화 가능한 다국어 혐오 발언 탐지 모델을 제안한다. 11개 언어에서의 훈련이 단일 언어 훈련보다 성능을 크게 향상시키며, 다국어 및 언어 계열에 맞춘 미세조정이 특히 자원이 부족한 환경에서 단일 언어 모델을 능가한다.

ABSTRACT

Hate speech detection has become an important research topic within the past decade. More private corporations are needing to regulate user generated content on different platforms across the globe. In this paper, we introduce a study of multilingual hate speech classification. We compile a dataset of 11 languages and resolve different taxonomies by analyzing the combined data with binary labels: hate speech or not hate speech. Defining hate speech in a single way across different languages and datasets may erase cultural nuances to the definition, therefore, we utilize language agnostic embeddings provided by LASER and MUSE in order to develop models that can use a generalized definition of hate speech across datasets. Furthermore, we evaluate prior state of the art methodologies for hate speech detection under our expanded dataset. We conduct three types of experiments for a binary hate speech classification task: Multilingual-Train Monolingual-Test, MonolingualTrain Monolingual-Test and Language-Family-Train Monolingual Test scenarios to see if performance increases for each language due to learning more from other language data.

연구 동기 및 목표

• 다양한 언어 간 통합적이고 문화적으로 세밀한 정의를 바탕으로 다국어 혐오 발언 탐지의 과제를 해결한다.
• 다국어 의미 표현을 활용하여 자원이 부족한 언어나 새로운 언어로도 잘 일반화되는 모델을 개발한다.
• 향후 연구를 지원하기 위해 다국어 혐오 발언 탐지용 벤치마크 데이터셋과 훈련된 모델을 구축한다.
• 언어 계열 또는 다국어 사전 훈련이 혐오 발언 분류에서 더 나은 일반화를 이끌어내는지 조사한다.
• 세 가지 다른 훈련-테스트 시나리오에서 모델 성능을 평가한다: 단일 언어, 다국어, 언어 계열 미세조정

제안 방법

• 다양한 공개 자료에서 영어, 독일어, 덴마크어, 프랑스어, 스페인어, 이탈리아어, 포르투갈어를 포함한 11개 언어의 다국어 혐오 발언 데이터셋을 수집하고 정제했다.
• LASER와 MUSE를 사용해 언어에 구애받지 않는 문장 임베딩을 적용하여 다양한 언어를 공통된 의미 공간에 매핑함으로써 다국어 간 전이를 가능하게 하였다.
• 세 가지 모델 아키텍처를 훈련하고 평가했다: LASER + 로지스틱 회귀, MUSE + CNN-GRU, mBERT를 사용한 이진 혐오 발언 분류.
• 일반화 능력을 평가하기 위해 세 가지 평가 시나리오를 수행했다: 단일 언어 훈련-단일 언어 테스트, 다국어 훈련-단일 언어 테스트, 언어 계열 훈련-단일 언어 테스트.
• 모든 언어와 시나리오에서 균형 잡힌 성능 평가를 보장하기 위해 가중 F1 점수를 주요 평가 지표로 사용했다.
• 특히 자원이 부족한 환경에서 데이터 불균형과 모델 아키텍처의 영향을 분석하기 위해 아블레이션 스터디를 수행했다.

실험 결과

연구 질문

• RQ1 RQ1: 공통된 의미 임베딩을 사용할 때, 언어에 구애받지 않는 설정에서 혐오 발언은 일반적인 발언과 어떻게 다를까?
• RQ2 RQ2: 여러 언어에서 훈련된 경우, 다양한 모델 아키텍처는 혐오 발언 탐지에서 얼마나 잘 작동할까?
• RQ3 RQ3: 언어 계열에서 훈련된 모델은 같은 계열의 다른 언어로 일반화할 때 얼마나 잘 작동할까? 특히 모든 언어에서 훈련된 모델과 비교해보자.
• RQ4 RQ4: 다국어 사전 훈련이 단일 언어 훈련보다 더 나은 일반화를 이끌어내는가? 특히 자원이 부족한 언어에서 그렇다면?
• RQ5 RQ5: 데이터 불균형과 언어 계열의 구조는 언어 간 모델 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• 다국어 훈련 시나리오는 모든 모델 아키텍처에서 단일 언어 훈련을 뛰어넘는 일관된 성능을 보였으며, MUSE + CNN-GRU 모델은 다국어 설정에서 포르투갈어에서 가중 F1 점수 0.887을 기록했다.
• 언어 계열에 맞춘 미세조정은 뛰어난 성능을 보였으며, mBERT 모델은 언어 계열 시나리오에서 포르투갈어에서 가중 F1 점수 0.894를 기록하여 라틴어계 언어 내에서 효과적인 전이가 이루어졌음을 시사한다.
• 낮은 데이터 볼륨에도 불구하고 언어 계열 훈련 모델은 다국어 모델과 유사한 성능을 보였으며, 독일어계 언어에서는 mBERT가 0.811, LASER + LR가 0.842의 F1 점수를 기록했다.
• MUSE + CNN-GRU 모델은 대부분의 다국어 및 언어 계열 시나리오에서 LASER + LR 및 mBERT를 능가했으며, 특히 라틴어계 언어에서 높은 성능을 보였다. 이탈리아어에서는 F1 점수가 최대 0.824에 이르렀다.
• 다국어 모델은 몇몇 언어에서 단일 언어 모델 대비 F1 점수 10–15% 향상되었으며, 독일어(0.893 대 0.881)와 이탈리아어(0.824 대 0.805)에서 이를 확인했다. 이는 다국어 데이터의 교차 언어적 이점이 있음을 입증한다.
• 독일어계 언어에서의 성능은 라틴어계 언어보다 낮았는데, 이는 훈련 데이터의 80%가 영어이기 때문에 모델이 영어 의미에 편향되었을 가능성이 있다.