[논문 리뷰] Emojis as Anchors to Detect Arabic Offensive Language and Hate Speech

Hamdy Mubarak, Sabit Hassan외 1명|arXiv (Cornell University)|2022. 01. 18.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 언어에 관계없이 아랍어의 공격적 언어와 혐오 발언을 수집하기 위해 이모지들을 앵커로 사용하는 언어 독립적 방법을 제안한다. 이로 인해 공격적 트윗 비율은 35%, 혐오 발언 비율은 11%에 달했으며, 이는 이전 방법보다 유의미하게 높은 수준이다. 이 방법은 세분화된 주석이 추가된 가장 큰 공개된 아랍어 데이터셋을 생성했으며, 외부 벤치마크에서 최신 기술 수준의 성능을 달성하고, 이모지 의존 패턴을 초월한 일반화 능력을 입증한다.

ABSTRACT

We introduce a generic, language-independent method to collect a large percentage of offensive and hate tweets regardless of their topics or genres. We harness the extralinguistic information embedded in the emojis to collect a large number of offensive tweets. We apply the proposed method on Arabic tweets and compare it with English tweets - analysing key cultural differences. We observed a constant usage of these emojis to represent offensiveness throughout different timespans on Twitter. We manually annotate and publicly release the largest Arabic dataset for offensive, fine-grained hate speech, vulgar and violence content. Furthermore, we benchmark the dataset for detecting offensiveness and hate speech using different transformer architectures and perform in-depth linguistic analysis. We evaluate our models on external datasets - a Twitter dataset collected using a completely different method, and a multi-platform dataset containing comments from Twitter, YouTube and Facebook, for assessing generalization capability. Competitive results on these datasets suggest that the data collected using our method captures universal characteristics of offensive language. Our findings also highlight the common words used in offensive communications, common targets for hate speech, specific patterns in violence tweets; and pinpoint common classification errors that can be attributed to limitations of NLP models. We observe that even state-of-the-art transformer models may fail to take into account culture, background and context or understand nuances present in real-world data such as sarcasm.

연구 동기 및 목표

• 아랍어의 공격적 언어 및 혐오 발언 탐지에 적합한 대규모이고 균형 잡힌 수작업 주석 데이터셋의 부족 문제를 해결하기 위해.
• 언어나 주제에 관계없이 언어적 关련 키워드나 패턴에 의존하지 않고 공격적 트윗을 수집하기 위한 언어 및 주제 독립적 방법을 개발하기 위해.
• 공격성, 혐오 발언, 불량어, 폭력성 콘텐츠를 포함한 세분화된 주석이 추가된 가장 큰 공개 아랍어 데이터셋을 구축하기 위해.
• 이 데이터로 훈련된 모델의 일반화 능력을 다양한 외부 데이터셋(다국어 및 다중 플랫폼 기반)에서 평가하기 위해.
• 공격적 콘텐츠에서 사자, 맥락, 방언적 변형을 탐지할 때의 언어 패턴, 문화적 뉘앙스, 그리고 모델의 한계를 밝혀내기 위해.

제안 방법

• 언어에 종속되지 않는 이모지를 외부 언어적 앵커로 활용하여, 공격적 콘텐츠 비율이 높은 트윗을 수집함으로써 언어별 키워드 의존도를 회피한다.
• 공개된 데이터셋에서 자주 등장하는 이모지를 추출하여 비언어적 시드 기반 접근법을 적용해 데이터 수집을 시작한다.
• 190명 이상의 주석자들이 참여하는 다단계 주석 파이프라인을 통해 공격성, 혐오 발언, 불량어, 폭력성에 대해 주석을 부여하고, 시험 문제를 통한 품질 제어를 실시한다.
• 수집된 데이터셋을 기반으로 여러 트랜스포머 아키텍처(예: QARiB)를 미세조정하여 공격적 언어 및 혐오 발언 분류를 수행한다.
• 훈련 및 테스트 세트에서 이모지를 제거한 후 외부 데이터셋(예: OffensEval 2020, MPOLD)에서 성능을 평가함으로써 모델의 일반화 능력을 검증한다.
• 데이터셋에 대한 깊이 있는 언어학적 및 시간적 분석을 수행하여 공격적 언어의 패턴, 혐오 발언의 대상, 불량어의 형태적 변형을 규명한다.

실험 결과

연구 질문

• RQ1 이모지는 아랍어에서 공격적 언어 및 혐오 발언 트윗을 수집하기 위해 신뢰할 수 있고 언어에 종속되지 않는 앵커로 기능할 수 있는가?
• RQ2 아랍어 트위터에서 공격적 콘텐츠의 분포는 시간, 방언, 사회적 대상에 따라 어떻게 달라지는가?
• RQ3 이모지 기반 데이터로 훈련된 모델은 이모지가 없는 외부 데이터셋으로도 얼마나 잘 일반화되는가?
• RQ4 비표준 철자 및 방언 형태를 포함한 아랍어 소셜 미디어에서 공격적, 폭력적, 불량어 콘텐츠의 특징이 되는 언어 패턴은 무엇인가?
• RQ5 최신 기술 수준의 NLP 모델이 공격적 언어에서 사자, 맥락, 문화적 뉘앙스를 탐지할 때 지속적으로 발생하는 실패 유형은 무엇인가?

주요 결과

• 이모지 기반 앵커 방법은 공격적 트윗 비율 35%와 혐오 발언 트윗 비율 11%를 달성하여 이전의 키워드 기반 접근법보다 거의 두 배에 가까운 비율을 확보했다.
• 제안된 데이터셋은 공격성, 혐오 발언, 불량어, 폭력성 콘텐츠를 포함한 다층 주석이 추가된 가장 큰 공개 아랍어 데이터셋이다.
• 이 데이터셋을 기반으로 미세조정된 모델은 SemEval 2020 아랍어 공격적 언어 탐지 벤치마크에서 F1 스코어 85.03을 기록하여 뛰어난 성능을 입증했다.
• 훈련 및 테스트 세트에서 이모지를 제거한 후에도 모델은 높은 성능(테스트 세트 F1 = 83.05)을 유지하여 이모지 의존성 초월한 일반화 능력을 보였다.
• MPOLD 데이터셋(트위터, 유튜브, 페이스북의 댓글 포함)에서 기존 접근법을 초월한 성능을 기록하여, 모델의 다중 플랫폼 일반화 능력이 확인되었다.
• 분석 결과, 혐오 발언의 일반적인 대상, 불량어의 반복적인 형태적 패턴, 폭력적 트윗의 특징적인 언어적 구조를 규명했으며, 동시에 사자나 문화적 맥락 탐지에 실패하는 모델의 한계도 드러났다.