[논문 리뷰] Arabic Offensive Language Detection Using Machine Learning and Ensemble Machine Learning Approaches

Fatemah Husain|arXiv (Cornell University)|2020. 05. 16.

Hate Speech and Cyberbullying Detection참고 문헌 17인용 수 25

한 줄 요약

이 연구는 아랍어 소셜미디어 텍스트에서 모욕적 언어를 탐지하기 위한 단일 및 앙상블 기계학습 접근법을 평가하며, 어순 다양성과 비공식적 작문 방식으로 인한 과제를 다룹니다. 백킹 앙상블 모델을 사용한 방법은 최고의 단일 학습자 분류기보다 6个百分点 높은 F1 스코어 88%를 기록하여, 이 저자원, 고변동성 NLP 과제에서 앙상블 방법의 우수성을 입증합니다.

ABSTRACT

This study aims at investigating the effect of applying single learner machine learning approach and ensemble machine learning approach for offensive language detection on Arabic language. Classifying Arabic social media text is a very challenging task due to the ambiguity and informality of the written format of the text. Arabic language has multiple dialects with diverse vocabularies and structures, which increase the complexity of obtaining high classification performance. Our study shows significant impact for applying ensemble machine learning approach over the single learner machine learning approach. Among the trained ensemble machine learning classifiers, bagging performs the best in offensive language detection with F1 score of 88%, which exceeds the score obtained by the best single learner classifier by 6%. Our findings highlight the great opportunities of investing more efforts in promoting the ensemble machine learning approach solutions for offensive language detection models.

연구 동기 및 목표

• 아랍어 소셜미디어에서 모욕적 언어를 탐지하는 데 도전하는 문제를 다루며, 이는 어순 다양성과 비공식적 언어 사용으로 인해 복잡해집니다.
• 아랍어에서의 모욕적 언어 탐지 과제에서 단일 학습자 기계학습 모델과 앙상블 기계학습 모델의 성능을 비교합니다.
• 저자원, 고변동성 아랍어 텍스트에서 분류 정확도를 향상시키기 위해 가장 효과적인 앙상블 기법을 특정합니다.
• 伝통적 모델이 어려움을 겪는 아랍어 모욕적 언어 탐지에서 앙상블 방법의 실현 가능성과 이점을 입증합니다.

제안 방법

• 연구는 기준 분류를 위해 로지스틱 회귀, 서포트 벡터 머신(SVM), 랜덤 포레스트, 나이브 베이즈를 포함한 다양한 단일 학습자 기계학습 모델을 사용합니다.
• 백킹, 부스팅, 보팅과 같은 앙상블 방법을 사용하여 다수의 기본 학습자 예측을 결합하여 정확도와 강건성을 향상시킵니다.
• 데이터셋은 모욕적 언어에 대해 주석이 달린 아랍어 소셜미디어 텍스트로 구성되며, 어순 및 비공식적 형태를 다루기 위한 전처리 단계를 포함합니다.
• 특징 공학은 텍스트의 어휘 패턴을 포착하기 위해 백 오브 워즈와 TF-IDF 표현 방식을 포함합니다.
• 모델 평가는 불균형한 모욕적 언어 탐지 과제에서 성능을 평가하기 위해 표준 NLP 메트릭, 특히 F1 스코어를 사용합니다.
• 최고의 성능을 보인 모델은 F1 스코어 기반으로 선정되었으며, 백킹이 가장 높은 성능을 보였습니다.

실험 결과

연구 질문

• RQ1 단일 학습자 기계학습 모델은 아랍어 소셜미디어 텍스트에서 모욕적 언어 탐지에 어떻게 성능을 발휘하는가?
• RQ2 앙상블 기계학습 접근법은 아랍어에서 단일 학습자 모델에 비해 모욕적 언어 탐지 성능을 얼마나 향상시키는가?
• RQ3 백킹, 부스팅, 또는 보팅 중 어느 앙상블 기법이 아랍어 모욕적 언어 탐지에서 가장 높은 F1 스코어를 제공하는가?
• RQ4 앙상블 방법은 아랍어의 어순 다양성과 비공식적 작문 방식으로 인한 과제를 효과적으로 완화할 수 있는가?

주요 결과

• 앙상블 기계학습 접근법은 아랍어에서 모욕적 언어 탐지에 있어 단일 학습자 모델보다 뚜렷이 뛰어나며, F1 스코어가 6个百分点 향상되었습니다.
• 앙상블 방법 중 백킹이 가장 높은 F1 스코어 88%를 기록하여 이 연구에서 가장 효과적인 접근법이 되었습니다.
• 최고의 단일 학습자 분류기는 F1 스코어 82%를 기록했으며, 이는 백킹 앙상블 모델에 의해 뛰어넘어졌습니다.
• 결과는 앙상블 방법이 아랍어 소셜미디어 텍스트에 내재된 언어적 복잡성과 변동성에 특히 효과적임을 시사합니다.