[논문 리뷰] Abusive and Threatening Language Detection in Urdu using Boosting based and BERT based models: A Comparative Approach

Mithun Das, Somnath Banerjee외 1명|arXiv (Cornell University)|2021. 11. 27.

Hate Speech and Cyberbullying Detection인용 수 15

한 줄 요약

이 논문은 공유 작업 데이터셋을 사용하여 우르두어에서 폭력적이고 위협적인 언어 탐지에 대해 부스팅 기반 모델과 BERT 기반 모델을 비교 연구한다. 원래 아랍어 혐오 발언 데이터로 훈련된 dehatebert-mono-arabic 모델을 미세조정한 결과, 상태의 기술(SoA) 성능을 달성하여 폭력적 언어 탐지에서 F1 스코어 0.88062, 위협적 언어 탐지에서 F1 스코어 0.54574를 기록했으며, FIRE 2021 공유 작업의 두 하위 과제에서 모두 1위를 차지했다.

ABSTRACT

Online hatred is a growing concern on many social media platforms. To address this issue, different social media platforms have introduced moderation policies for such content. They also employ moderators who can check the posts violating moderation policies and take appropriate action. Academicians in the abusive language research domain also perform various studies to detect such content better. Although there is extensive research in abusive language detection in English, there is a lacuna in abusive language detection in low resource languages like Hindi, Urdu etc. In this FIRE 2021 shared task - "HASOC- Abusive and Threatening language detection in Urdu" the organizers propose an abusive language detection dataset in Urdu along with threatening language detection. In this paper, we explored several machine learning models such as XGboost, LGBM, m-BERT based models for abusive and threatening content detection in Urdu based on the shared task. We observed the Transformer model specifically trained on abusive language dataset in Arabic helps in getting the best performance. Our model came First for both abusive and threatening content detection with an F1scoreof 0.88 and 0.54, respectively.

연구 동기 및 목표

• 우르두어와 같은 저자원 언어에서 폭력적이고 위협적인 언어 탐지에 대한 연구 부족을 해결하기 위해.
• 기본적인 기계 학습 모델(XGBoost, LGBM)과 트랜스포머 기반 모델(mBERT, dehatebert-mono-arabic)이 우르두어 폭력적이고 위협적인 언어 탐지에 얼마나 효과적인지 평가하기 위해.
• 언어적 및 역사적 유사성 덕분에 아랍어 혐오 발언 데이터로 사전 훈련된 모델을 미세조정하면 우르두어에서 성능 향상이 이루어지는지 조사하기 위해.
• FIRE 2021 공유 작업에서 우르두어 폭력적이고 위협적인 언어 탐지 과제에서 최고의 성능을 달성하기 위해.
• 미래의 저자원 혐오 발언 탐지 연구를 지원하기 위해 코드와 모델을 공개하기 위해.

제안 방법

• 기본 모델로 사전 훈련된 우르두어 LASER 임베딩을 사용한 XGBoost와 LightGBM를 활용했다.
• 이진 분류를 위해 우르두어 폭력적이고 위협적인 언어 데이터셋에 다국어 BERT(mBERT)를 미세조정했다.
• 이전에 아랍어 혐오 발언 데이터로 미세조정된 dehatebert-mono-arabic 모델을 사용하여 전이 학습을 수행했으며, 언어적 유사성을 활용했다.
• 두 하위 과제 모두 이진 교차 엔트로피 손실을 적용했고, 위협적 언어 탐지 데이터셋의 데이터 불균형을 완화하기 위해 클래스 가중치를 사용했다.
• 트랜스포머 모델의 경우 10 에포크, Adam 옵timizer, 초기 학습률 2e-5를 사용했으며, 검증 F1 스코어 기반 조기 정지 전략을 적용했다.
• 폭력적 언어 탐지에서는 훈련 데이터를 85% 훈련, 15% 검증으로 분할했고, 위협적 언어 탐지에서는 데이터 불균형으로 인해 전체 데이터셋을 사용했다.

실험 결과

연구 질문

• RQ1 XGBoost와 LGBM과 같은 부스팅 기반 모델이 저자원 우르두어 텍스트에서 폭력적이고 위협적인 언어를 효과적으로 탐지할 수 있는가?
• RQ2 우르두어 데이터에 대해 다국어 BERT 모델을 미세조정하면, 초기 가중치 설정 없이 훈련하거나 일반 목적 임베딩을 사용하는 것보다 성능이 향상되는가?
• RQ3 공통된 언어 뿌리 덕분에 아랍어 혐오 발언 데이터로 사전 훈련된 모델이 우르두어로 효과적으로 일반화될 수 있는가?
• RQ4 위협적 언어 탐지 데이터셋의 데이터 불균형이 모델 성능에 미치는 영향은 무엇이며, 클래스 가중치가 이를 완화할 수 있는가?
• RQ5 FIRE 2021 공유 작업에서 다양한 모델의 우르두어 폭력적이고 위협적인 언어 탐지 성능은 어떻게 비교되는가?

주요 결과

• dehatebert-mono-arabic 모델을 우르두어 데이터셋에 미세조정한 결과, 폭력적 언어 탐지 과제(Subtask A)에서 F1 스코어 0.88062를 기록하여 공유 작업에서 1위를 차지했다.
• 위협적 언어 탐지(Subtask B)에서는 동일한 모델이 F1 스코어 0.54574를 기록했으며, 모든 다른 모델보다 뛰어난 성능을 보였고, 극도로 불균형한 데이터셋임에도 불구하고 1위를 확보했다.
• 기존 모델(XGBoost와 LGBM)은 중간 정도의 성능을 보였으며, 각각 Subtask A에서 F1 스코어 0.76072와 0.76667를 기록하여 저자원 우르두어 텍스트에서의 효과성이 제한적임을 시사했다.
• mBERT는 Subtask A에서 F1 스코어 0.84000, Subtask B에서 F1 스코어 0.46961을 기록했으며, 기존 모델보다 우수한 성능를 보였지만 dehatebert-mono-arabic 모델보다 열 劣하다.
• 이 연구는 고성능 아랍어 혐오 발언 모델에서 전이 학습을 통해 우르두어에서의 성능 향상이 상당히 향상됨을 확인했으며, 관련 언어 간 언어 전이 가능성의 가능성을 시사했다.
• 클래스 가중치는 불균형한 위협적 언어 데이터셋에서 모델의 강건성을 향상시켰지만, 성능 향상은 제한적이었으며, 이는 데이터 불균형이 여전히 이 과제의 핵심 과제임을 시사한다.