[논문 리뷰] Hate Speech and Offensive Language Detection in Bengali

Mithun Das, Somnath Banerjee외 2명|arXiv (Cornell University)|2022. 10. 07.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 10,000개의 법인어 트윗(원시 법인어 5,000건, 로마자 법인어 5,000건)으로 구성된 새로운 벤치마크 데이터셋을 소개한다. 이 데이터셋은 혐오 발언과 모욕적 언어에 대해 주석 처리되어 있으며, 다양한 트랜스포머 기반 모델을 평가하여, MuRIL과의 공동 학습이 특히 자원이 부족한 환경과 소수의 예제 설정에서, 서로 다른 스크립트 간의 의미적 유사성을 활용함으로써 성능을 크게 향상시킨다.

ABSTRACT

Social media often serves as a breeding ground for various hateful and offensive content. Identifying such content on social media is crucial due to its impact on the race, gender, or religion in an unprejudiced society. However, while there is extensive research in hate speech detection in English, there is a gap in hateful content detection in low-resource languages like Bengali. Besides, a current trend on social media is the use of Romanized Bengali for regular interactions. To overcome the existing research's limitations, in this study, we develop an annotated dataset of 10K Bengali posts consisting of 5K actual and 5K Romanized Bengali tweets. We implement several baseline models for the classification of such hateful posts. We further explore the interlingual transfer mechanism to boost classification performance. Finally, we perform an in-depth error analysis by looking into the misclassified posts by the models. While training actual and Romanized datasets separately, we observe that XLM-Roberta performs the best. Further, we witness that on joint training and few-shot training, MuRIL outperforms other models by interpreting the semantic expressions better. We make our code and dataset public for others.

연구 동기 및 목표

• 저자원 언어인 법인어, 특히 로마자(라틴 문자) 변형에 대해 혐오 발언 탐지용 주석 처리된 데이터셋이 부족한 문제를 해결한다.
• 황금 표준이며 균형 잡힌 10,000개의 트윗 데이터셋(원시 법인어 5,000건, 로마자 법인어 5,000건)을 구축하여 혐오, 모욕적, 정상으로 분류한다.
• 실제 법인어와 로마자 법인어에서 트랜스포머 기반 모델을 활용한 혐오 발언 분류를 평가하며, 전이 학습과 소수의 예제 학습에 초점을 맞춘다.
• 다른 철자 변형 간의 언어 간 전이와 공동 학습이 모델의 일반화 능력과 강인성에 미치는 영향을 조사한다.
• 모델 예측의 지속적인 실패 유형을 특정하기 위해 심층적인 오류 분석을 수행한다. 실패 유형으로는 관점 편향과 코드 믹스 언어적 구조가 포함된다.

제안 방법

• 트위터에서 수집한 다양성 있는 10,000개의 트윗 데이터셋을 구성하였으며, 원시 법인어와 로마자 법인어로 균형 있게 분할하였고, 혐오, 모욕적, 정상 콘텐츠에 대해 인간 주석을 부여하였다.
• XLM-RoBERTa, mBERT, IndicBERT, MuRIL 등의 베이스라인 모델을 사용하여, 미세조정된 트랜스포머 아키텍처를 활용한 시퀀스 분류를 구현하였다.
• 원시 법인어와 로마자 법인어 데이터를 동시에 학습하여 언어 간 전이 능력을 향상시키고, 제로샷 및 소수의 예제 설정에서의 일반화 능력을 향상시키기 위해 공동 학습 전략을 적용하였다.
• 제한된 레이블이 있는 로마자 법인어 데이터를 대상으로 소수의 예제 미세조정 전략을 적용하여 모델 성능을 평가하였다.
• 오류 분석을 위해 잘못 분류된 예시를 수동으로 점검하고, 관점 편향, 코드 믹스 구조, 잠재적 레이블 오류로 실패 유형을 분류하였다.
• 표준 NLP 평가 지표(예: F1, 정확도)를 사용하여 다양한 학습 방식과 데이터 분할에서의 모델 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 원시 법인어 데이터와 로마자 법인어 데이터를 별도로 학습시킬 경우, 모델 성능은 어떻게 달라지나?
• RQ2 원시 법인어와 로마자 법인어 데이터를 동시에 학습하는 공동 학습 방식이, 각각의 모odal 별로 학습하는 것보다 분류 성능을 향상시키는가?
• RQ3 특히 두 스크립트 간의 의미적 유사성을 활용하는 언어 간 전이 메커니즘이 저자원 환경에서의 혐오 발언 탐지에 얼마나 효과적인가?
• RQ4 코드 믹스 및 로마자 법인어 텍스트에서 혐오 발언을 분류할 때 트랜스포머 기반 모델의 주요 실패 유형은 무엇인가?
• RQ5 소수의 예제 미세조정이 로마자 법인어의 저자원 환경에서 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• XLM-RoBERTa가 원시 법인어 또는 로마자 법인어 데이터셋에서 별도로 학습 및 평가할 경우 가장 높은 성능을 기록하였다.
• MuRIL은 공동 학습 및 소수의 예제 설정에서 다른 모델을 능가하였으며, 원시 및 로마자 형태 간의 의미적 연결을 효과적으로 활용하였다.
• 공동 학습은 특히 로마자 법인어에서 모델의 일반화 능력을 크게 향상시켰다. 이는 MuRIL이 양쪽 철자 변형을 모두 사전 학습한 덕분이었다.
• 모델은 관점에 따라 달라지는 콘텐츠에서 어려움을 겪었으며, 주석자 편향으로 인해 레이블이 일관되지 않게 되고, 이로 인해 모델의 잘못된 분류가 발생하였다.
• 베트남어 문법과 영어 어휘를 혼합한 코드 믹스 언어적 구조는 토큰 수준의 모호성으로 인해 끊임없이 잘못 분류되었다.
• 명확한 집단 대상이 없는 비속어를 포함한 게시물을 일시적으로 혐오 발언으로 분류함으로써, 지표 오류가 발생하였고, 이는 모델 예측으로까지 확산되었다.