[논문 리뷰] Cross-lingual Hate Speech Detection using Transformer Models

Teodor Tiţa, Arkaitz Zubiaga|arXiv (Cornell University)|2021. 11. 01.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 영어-프랑스어 언어 쌍과 단언어 설정에서 성능을 평가하면서, 교차 언어적 혐오 발언 탐지에 대해 미세조정된 다국어 트랜스포머 모델(mBERT 및 XLM-RoBERTa)을 제안한다. 강력한 제로샷 전이 성능을 달성하며, 특히 XLM-RoBERTa에서 다국어 미사전학습의 효과를 입증한다.

ABSTRACT

Hate speech detection within a cross-lingual setting represents a paramount area of interest for all medium and large-scale online platforms. Failing to properly address this issue on a global scale has already led over time to morally questionable real-life events, human deaths, and the perpetuation of hate itself. This paper illustrates the capabilities of fine-tuned altered multi-lingual Transformer models (mBERT, XLM-RoBERTa) regarding this crucial social data science task with cross-lingual training from English to French, vice-versa and each language on its own, including sections about iterative improvement and comparative error analysis.

연구 동기 및 목표

• 라벨이 부족한 상황에서 특히 자원이 적은 환경에서 자동 혐오 발언 탐지에 대한 필수적인 필요성을 해결한다.
• 영어에서 프랑스어로, 또는 그 반대로의 언어 간 혐오 발언 탐지 능력의 전이 효과를 평가하기 위해 다국어 트랜스포머 모델의 효능을 조사한다.
• 다국어 NLP 작업에서 최적의 성능과 일반화를 달성하기 위해 단언어 및 교차 언어 미세조정 전략을 평가한다.
• 모델 성능 향상과 비교적 오류 분석을 반복적으로 수행하여 예측에서의 실패 패턴을 이해하고 혐오 발언 탐지의 강건성을 향상시킨다.

제안 방법

• 교차 언어 및 단언어 분류를 위해 영어 및 프랑스어 혐오 발언 데이터셋에 대해 다국어 BERT(mBERT)와 XLM-RoBERTa를 미세조정한다.
• 다국어 사전학습을 초기화로 사용하고 목표 언어 전용 혐오 발언 데이터에 대해 미세조정함으로써 전이 학습을 적용한다.
• 이진 혐오 발언 분류(hate 대비 non-hate)를 위해 표준 텍스트 분류 헤드와 소프트맥스 출력을 사용한다.
• 영어로 훈련된 모델을 프랑스어 데이터에 평가하여 영어-프랑스어 간 제로샷 교차 언어 전이 성능을 평가하고 일반화 능력을 분석한다.
• 모델 성능 향상을 위해 반복적인 하이퍼파rameter 튜닝과 아키텍처 조정을 수행한다.
• 예측에서의 언어적 및 맥락적 실패 패턴을 규명하기 위해 비교적 오류 분석을 수행한다.

실험 결과

연구 질문

• RQ1 미세조정된 다국어 트랜스포머 모델이 혐오 발언 탐지 작업에서 얼마나 잘 언어 간 일반화되는가?
• RQ2 영어 및 프랑스어에서 혐오 발언 탐지에 대해 단언어와 교차 언어 미세조정 간 성능 차이는 어떠한가?
• RQ3 mBERT와 XLM-RoBERTa를 사용하여 영어에서 프랑스어로, 또는 그 반대로의 제로샷 전이 성능는 얼마나 효과적인가?
• RQ4 교차 언어 혐오 발언 탐지에서 주요 실패 패턴은 무엇이며, 오류 분석을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• XLM-RoBERTa가 교차 언어 혐오 발언 탐지에서 mBERT를 능가하며, 특히 제로샷 전이 설정에서 뛰어난 성능을 보인다.
• 영어에서 프랑스어로의 교차 언어 미세조정이 뛰어난 성능을 달성하여 언어 간 혐오 발언 패tern의 효과적인 전이를 확인한다.
• 각 언어에 대해 단언어 미세조정이 제로샷 전이보다 높은 성능을 보이며, 목표 언어 데이터의 가치를 확인한다.
• 오류 분석 결과, 풍자, 코드 스위칭, 비문학적 언어가 모델 일반화의 주요 과제로 드러났다.
• 반복적인 하이퍼파rameter 튜닝과 아키텍처 조정이 언어 쌍 간 모델의 강건성과 F1 스코어를 크게 향상시켰다.
• 본 연구는 다국어 미사전학습이 자원이 적은 혐오 발언 탐지에 실현 가능한 솔루션을 제공함을 입증한다. 특히 목표 언어 데이터가 제한된 경우에 효과적이다.