[논문 리뷰] Hate and Offensive Speech Detection in Hindi and Marathi

Abhishek Velankar, Hrushikesh Patil외 3명|arXiv (Cornell University)|2021. 10. 23.

Hate Speech and Cyberbullying Detection참고 문헌 17인용 수 8

한 줄 요약

이 논문은 HASOC 2021 데이터셋을 사용하여 히ند어 및 마라티어 언어에서 혐오 발언 및 공격적 발언 탐지에 대한 딥러닝 모델을 제안하고 평가한다. CNN, LSTM, BERT 기반 모델을 비교하여, 세분화된 히ند어 분류 작업에서는 훈련 불가능한 FastText 임베딩을 사용한 기본 모델이 BERT를 능가하는 것으로 나타났으며, RoBERTa와 IndicBERT는 이진 작업에서 최신 기술 성과를 달성하였다.

ABSTRACT

Sentiment analysis is the most basic NLP task to determine the polarity of text data. There has been a significant amount of work in the area of multilingual text as well. Still hate and offensive speech detection faces a challenge due to inadequate availability of data, especially for Indian languages like Hindi and Marathi. In this work, we consider hate and offensive speech detection in Hindi and Marathi texts. The problem is formulated as a text classification task using the state of the art deep learning approaches. We explore different deep learning architectures like CNN, LSTM, and variations of BERT like multilingual BERT, IndicBERT, and monolingual RoBERTa. The basic models based on CNN and LSTM are augmented with fast text word embeddings. We use the HASOC 2021 Hindi and Marathi hate speech datasets to compare these algorithms. The Marathi dataset consists of binary labels and the Hindi dataset consists of binary as well as more-fine grained labels. We show that the transformer-based models perform the best and even the basic models along with FastText embeddings give a competitive performance. Moreover, with normal hyper-parameter tuning, the basic models perform better than BERT-based models on the fine-grained Hindi dataset.

연구 동기 및 목표

• 히нд어 및 마라티어와 같은 저자원 인도 언어에서 혐오 발언 및 공격적 발언 탐지에 대한 애너테이션 데이터의 부족 문제를 해결하기 위해.
• 히нд어 및 마라티어 텍스트에서 다양한 딥러닝 아키텍처(CNN, LSTM, BiLSTM, 트랜스포머 기반 모델)의 성능을 평가하기 위해.
• 사전 훈련된 워드 임베딩(FastText)과 무작위 초기화, 훈련 가능한 vs. 훈련 불가능한 임베딩 간의 효과성을 비교하기 위해.
• 히нд어 언어에서 세분화된 혐오 발언 레이블링을 위한 계층적 분류 전략과 직접적인 다중 클래스 분류 전략 간의 성능을 비교하기 위해.
• 향후 저자원 NLP 연구를 위한 공개적으로 배포된 최신 기술 성과 모델을 제공하기 위해.

제안 방법

• HASOC 2021 공동 과제 데이터셋의 양성 및 세분화된 레이블을 사용하여 혐오 발언 및 공격적 발언 탐지를 텍스트 분류 작업으로 정의하였다.
• 1D-CNN, LSTM, BiLSTM 모델을 히нд어 및 마라티어의 무작위 및 사전 훈련된 FastText 워드 임베딩(훈련 가능 및 훈련 불가능 모드)을 사용하여 훈련하였다.
• 다국어 BERT(mBERT), IndicBERT, RoBERTa-base, 히нд어 전용 RoBERTa 변형을 포함한 트랜스포머 기반 모델을 평가하였다.
• 4개 클래스의 히нд어 작업에 대해 계층적 분류 접근법을 적용: 먼저 혐오 또는 비혐오로 분류한 후, 혐오 인스턴스를 HATE, OFFN, 또는 PRFN으로 추가 분류하였다.
• 정확도, 매크로 F1, 정밀도, 재현율과 같은 표준 지표를 사용하여 다양한 작업 간의 모델 성능을 비교하였다.
• 재현성과 커뮤니티 활용을 위해 최고 성능을 낸 모델을 Hugging Face에 공개적으로 배포하였다.

실험 결과

연구 질문

• RQ1 히нд어 및 마라티어 언어에서 혐오 발언 및 공격적 발언 탐지 작업에서 기존 딥러닝 모델(CNN, LSTM)과 트랜스포머 기반 모델(BERT 변종) 간의 성능은 어떻게 비교되는가?
• RQ2 저자원 환경에서 훈련 불가능한 FastText 임베딩이 훈련 가능한 또는 무작위 임베딩보다 성능을 높이는가?
• RQ3 히нд어 언어에서 세분화된 혐오 발언 레이블링을 위한 계층적 분류 접근법이 직접적인 다중 클래스 분류 전략보다 우월한가?
• RQ4 데이터 불균형 문제의 영향은 세분화된 히нд어 분류 작업에서 BERT 기반 모델의 성능에 어떻게 작용하는가?
• RQ5 기본 모델인 CNN 및 LSTM이 저자원, 세분화된 혐오 발언 탐지 작업에서 BERT 기반 모델을 능가할 수 있는가?

주요 결과

• 마라티어 이진 분류 작업에서 가장 높은 성능을 낸 모델은 훈련 불가능한 FastText 임베딩을 사용한 BiLSTM로, F1 스코어 0.854를 기록하였다.
• 히нд어 이진 분류 작업에서 BiLSTM 모델이 훈련 불가능한 FastText 임베딩을 사용하여 F1 스코어 0.750을 기록하며, 다른 설정보다 뛰어난 성능을 보였다.
• 히нд어 세분화된 4개 클래스 분류 작업에서 CNN 모델이 훈련 불가능한 FastText 임베딩을 사용하여 F1 스코어 0.517을 기록하였으며, 계층적 RoBERTa 모델(F1: 0.520)과 직접 다중 클래스 RoBERTa(F1: 0.521)를 약간 앞서나갔다.
• IndicBERT는 마라티어 데이터셋에서 BERT 변종 중 가장 높은 성능을 보였으며, F1 스코어 0.869를 기록하였다.
• 히нд어 언어에서 RoBERTa-base는 다른 BERT 변종보다 뛰어난 성능을 보였으며, 이진 분류 작업에서 F1 스코어 0.763을 기록하였다.
• BERT 기반 모델는 세분화된 히нд어 데이터셋에서 클래스 불균형에 더 민감한 것으로 나타났으며, 최적의 성능을 내기 위해 데이터 증강이 필요로 했고, 반면 기본 모델은 불균형에 더 강건한 것으로 나타났다.