[논문 리뷰] One to rule them all: Towards Joint Indic Language Hate Speech Detection

Mehar Bhatia, Tenzin Singhay Bhotia외 6명|arXiv (Cornell University)|2021. 09. 28.

Hate Speech and Cyberbullying Detection참고 문헌 21인용 수 9

한 줄 요약

이 논문은 영어, 히ند어, 마라티어에서 혐오 발언과 모욕적 발언을 동시에 탐지하기 위해 XLM-RoBERTa를 사용한 다국어 미세조정 방법을 제안하며, HASOC 2021 공동 과제에서 최고 성능을 기록하여 영어(0.7996), 히нд어(0.7748), 마라티어(0.8651)의 마크로 F1 스코어를 달성함으로써 저자원 인도어 언어에 대한 다국어 훈련의 우수성을 입증함.

ABSTRACT

This paper is a contribution to the Hate Speech and Offensive Content Identification in Indo-European Languages (HASOC) 2021 shared task. Social media today is a hotbed of toxic and hateful conversations, in various languages. Recent news reports have shown that current models struggle to automatically identify hate posted in minority languages. Therefore, efficiently curbing hate speech is a critical challenge and problem of interest. We present a multilingual architecture using state-of-the-art transformer language models to jointly learn hate and offensive speech detection across three languages namely, English, Hindi, and Marathi. On the provided testing corpora, we achieve Macro F1 scores of 0.7996, 0.7748, 0.8651 for sub-task 1A and 0.6268, 0.5603 during the fine-grained classification of sub-task 1B. These results show the efficacy of exploiting a multilingual training scheme.

연구 동기 및 목표

• 히нд어와 마라티어와 같은 저자원 인도어 언어에서 혐오 발언과 모욕적 발언을 탐지하는 데 어려움을 해결함. 기존 모델은 종종 성능이 열등함.
• 단일 언어 모델의 한계를 극복하기 위해 일반화 능력을 향상시키기 위해 공동 다국어 미세조정을 탐색함.
• 다양한 인도어 언어의 소셜 미디어 텍스트에 특화된 견고한 전처리 파이프라인을 개발하고 평가함.
• 불균형 데이터셋에서의 성능 향상을 위해 데이터 증강 및 대체 아키텍처의 효과를 조사함.
• 영어, 히нд어, 마라티어에서 혐오 및 모욕적 콘텐츠 탐지에 대해 HASOC 2021 공동 과제에서 경쟁력 있는 성과를 달성함.

제안 방법

• 영어, 히нд어, 마라티어 전반에 걸쳐 공동 미세조정을 위해 다국어 기반 트랜스포머 언어 모델인 XLM-RoBERTa를 사용함.
• 동일한 모델을 동시에 세 언어에 대해 미세조정하여 언어 표현을 공유하는 공동 다국어 훈련 방식을 적용함.
• 인도어 언어에서 흔한 이모티콘, 슬랭, 혼합 스크립트 텍스트 처리를 포함한 소셜 미디어 텍스트를 정규화하기 위한 전처리 파이프라인을 구현함.
• 훈련 세트의 데이터 불균형을 완화하기 위해 SOUP(Similarity-based Oversampling and Undersampling)와 같은 클래스 균형 기법을 사용함.
• Google의 NMT API를 활용한 백트랜스레이션을 통한 데이터 증강을 시도했지만, 성능 저하를 유발함.
• mBERT와 DistilBERT를 포함한 여러 모델을 대상으로 단일 언어 및 다국어 미세조정 전략을 비교하여 다국어 사전 훈련의 이점을 규명함.

실험 결과

연구 질문

• RQ1 동일한 다국어 트랜스포머 모델이 영어, 히нд어, 마라티어에서 혐오 발언과 모욕적 발언을 유사한 성능으로 동시에 탐지할 수 있는가?
• RQ2 저자원 인도어 언어에서 다국어 미세조정은 단일 언어 미세조정에 비해 F1 스코어와 견고성 측면에서 어떻게 비교되는가?
• RQ3 백트랜스레이션과 같은 데이터 증강 기법이 저자원 혐오 발언 탐지에서 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 기존의 NLP 기법(예: TF-IDF, SVM, 랜덤 포레스트)이 인도어 언어의 소셜 미디어 텍스트에서 트랜스포머 기반 모델에 비해 성능이 열등한 이유는 무엇인가?
• RQ5 제한된 애너테이션 데이터를 가진 저자원 인도어 언어에 다국어 모델을 적응시키는 데 있어 주요 과제는 무엇인가?

주요 결과

• 다국어 미세조정된 XLM-RoBERTa 모델은 서브태스크 1A에서 마라티어에 대해 최고의 마크로 F1 스코어 0.8651을 기록하여 모든 다른 모델과 접근 방식을 압도함.
• 서브태스크 1A에서 다국어 XLM-RoBERTa 모델은 영어(0.7996), 히нд어(0.7748), 마라티어(0.8651)의 마크로 F1 스코어를 기록하여 HASOC 2021 랭킹에서 이 과제의 1위를 확보함.
• 공동 표현 학습의 효과를 입증하기 위해 다국어 접근 방식은 서브태스크 1A에서 단일 언어 미세조정 대비 2.1 F1 점수의 절대적 향상을 보였음.
• 백트랜스레이션을 통한 데이터 증강은 성능 저하를 유발하고 잘못된 레이블을 도입함으로써 분포 이탈과 신뢰성 문제를 암시함.
• 랜덤 포레스트 및 LightGBM와 같은 전통적 모델은 최고의 트랜스포머 기반 모델 대비 평균 5.3%의 성능 저하를 보였으며, 이는 기존 기계학습 기법이 소셜 미디어 텍스트에서의 한계를 보여 줌.
• SOUP를 사용한 데이터 균형 조정에도 불구하고 최고 성능 모델 대비 성능이 5% 하락함으로써, 이 설정에서는 클래스 불균형 자체가 주요 장애물은 아님을 시사함.