[논문 리뷰] OSACT4 Shared Task on Offensive Language Detection: Intensive Preprocessing-Based Approach.

Fatemah Husain|arXiv (Cornell University)|2020. 05. 01.

Hate Speech and Cyberbullying Detection참고 문헌 8인용 수 6

한 줄 요약

이 논문은 아랍어 소셜미디어 텍스트에서 폭력적 언어 및 혐오 발언 탐지에 대한 강력한 사전처리 기반 접근법을 제시하며, 철저한 텍스트 정제가 분류 성능을 크게 향상시킨다는 것을 입증한다. 이 방법은 OSACT4 공동 과제에서 하위 과제 B(혐오 발언 탐지)에서 95% F1으로 1위를 차지하고 하위 과제 A(폭력적 언어 탐지)에서 89% F1로 3위를 기록하여 최신 기술 수준의 성과를 달성했다.

ABSTRACT

The preprocessing phase is one of the key phases within the text classification pipeline. This study aims at investigating the impact of the preprocessing phase on text classification, specifically on offensive language and hate speech classification for Arabic text. The Arabic language used in social media is informal and written using Arabic dialects, which makes the text classification task very complex. Preprocessing helps in dimensionality reduction and removing useless content. We apply intensive preprocessing techniques to the dataset before processing it further and feeding it into the classification model. An intensive preprocessing-based approach demonstrates its significant impact on offensive language detection and hate speech detection shared tasks of the fourth workshop on Open-Source Arabic Corpora and Corpora Processing Tools (OSACT). Our team wins the third place (3rd) in the Sub-Task A Offensive Language Detection division and wins the first place (1st) in the Sub-Task B Hate Speech Detection division, with an F1 score of 89% and 95%, respectively, by providing the state-of-the-art performance in terms of F1, accuracy, recall, and precision for Arabic hate speech detection.

연구 동기 및 목표

• 아랍어 소셜미디어 텍스트에서 폭력적 언어 및 혐오 발언 탐지에 대한 강력한 사전처리의 영향을 조사하는 것.
• 비공식적인 아랍어 어법과 노이즈가 많은 소셜미디어 콘텐츠로 인한 텍스트 분류 과제의 과제를 해결하는 것.
• 차원 수축과 관련 없는 텍스트 노이즈 제거를 통해 분류 성능 향상시키는 것.
• 아랍어 폭력적 언어 및 혐오 발언 탐지 분야에서 OSACT4 공동 과제에서 최신 기술 수준의 성과를 달성하는 것.

제안 방법

• 분류 모델에 입력하기 전에 아랍어 텍스트 데이터셋에 강력한 사전처리 기법을 적용하는 것.
• 특수 문자, 여유 공간, 비표준 철자 등 불필요하거나 중복되는 내용을 제거하여 차원 수축 및 노이즈 감소를 도모하는 것.
• 아랍어 어법에 특화된 표준화 기법을 활용하여 비공식적인 형태를 더 일관성 있는 표현으로 통일하는 것.
• 모델 훈련 이전에 텍스트 정제를 기초 단계로 우선시하는 파이프라인을 구축하는 것.
• 아랍어 소셜미디어 텍스트의 언어적 특성에 맞게 사전처리 전략을 선별하고 적용하는 것.
• 사전처리된 데이터를 활용해 OSACT4 공동 과제에서 높은 성능을 달성하는 분류 모델을 훈련하는 것.

실험 결과

연구 질문

• RQ1 강력한 사전처리는 아랍어 소셜미디어 텍스트에서 폭력적 언어 탐지 성능에 어떤 영향을 미치는가?
• RQ2 사전처리는 비공식적인 아랍어 텍스트에서 혐오 발언 탐지 성능을 어느 정도 향상시키는가?
• RQ3 저자원, 어법이 풍부한 아랍어 텍스트 분류에서 사전처리 중심 접근법이 다른 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 차원 수축과 노이즈 제거가 아랍어 폭력적 언어 탐지에서 F1, 정밀도, 재현율, 정확도에 어떤 영향을 미치는가?
• RQ5 사전처리만으로도 아랍어 혐오 발언 탐지에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 강력한 사전처리 기반 접근법은 하위 과제 A(폭력적 언어 탐지)에서 F1 점수 89%를 기록하여 OSACT4 공동 과제에서 3위를 차지했다.
• 이 방법은 하위 과제 B(혐오 발언 탐지)에서 최신 기술 수준의 F1 점수 95%를 기록하며 공동 과제에서 1위를 차지했다.
• 이 접근법은 혐오 발언 탐지 과제에서 F1, 정확도, 정밀도, 재현율 등 모든 지표에서 뛰어난 성능을 보였다.
• 사전처리를 통해 노이즈를 감소시키고 비공식적인 아랍어 어법을 표준화함으로써 모델 성능이 크게 향상되었다.
• 결과적으로 사전처리가 저자원 및 어법이 풍부한 도메인에서 아랍어 텍스트 분류에 있어 핵심적이고 영향력 있는 단계임을 확인했다.
• 이 연구는 복잡한 모델 아키텍처가 필요 없이 강력한 사전처리만으로도 최신 기술 수준의 성과를 달성할 수 있음을 입증했다.