[논문 리뷰] Overview of the HASOC Subtrack at FIRE 2021: Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages

Thomas Mandl, Sandip Modha외 9명|arXiv (Cornell University)|2021. 12. 17.

Hate Speech and Cyberbullying Detection인용 수 8

한 줄 요약

이 논문은 FIRE 2021에서의 HASOC 서브트랙을 제시하며, 영어, 히ند어, 마라티어에서 트위터 데이터를 이용한 혐오 발언 및 공격적 콘텐츠 식별을 위한 공동 과제를 다룹니다. 이는 이진 분류(혐오 대 비공격적)와 세분화된 분류(HATE, OFFENSIVE, PROFANITY)의 두 가지 과제를 도입하며, 트랜스포머 기반 모델을 사용해 최신 기술 수준의 성능을 달성하여 마라티어에서 F1 점수 0.91, 히нд어에서 0.78, 영어에서 0.83의 성과를 기록합니다.

ABSTRACT

The widespread of offensive content online such as hate speech poses a growing societal problem. AI tools are necessary for supporting the moderation process at online platforms. For the evaluation of these identification tools, continuous experimentation with data sets in different languages are necessary. The HASOC track (Hate Speech and Offensive Content Identification) is dedicated to develop benchmark data for this purpose. This paper presents the HASOC subtrack for English, Hindi, and Marathi. The data set was assembled from Twitter. This subtrack has two sub-tasks. Task A is a binary classification problem (Hate and Not Offensive) offered for all three languages. Task B is a fine-grained classification problem for three classes (HATE) Hate speech, OFFENSIVE and PROFANITY offered for English and Hindi. Overall, 652 runs were submitted by 65 teams. The performance of the best classification algorithms for task A are F1 measures 0.91, 0.78 and 0.83 for Marathi, Hindi and English, respectively. This overview presents the tasks and the data development as well as the detailed results. The systems submitted to the competition applied a variety of technologies. The best performing algorithms were mainly variants of transformer architectures.

연구 동기 및 목표

• 저자원 인도아리안 어족 언어인 히нд어와 마라티어에서 혐오 발언 및 공격적 콘텐츠 탐지에 대한 벤치마크 데이터셋을 구축하기 위해.
• 다양한 언어 간에 자연어 처리(NLP) 모델의 성능을 평가하고 비교하여 다국어 혐오 발언 식별에 초점을 맞추기 위해.
• 표준화된 공동 과제를 통해 스케일러블 AI 도구의 개발을 지원하고 온라인 콘텐츠 모니터링을 위해.
• 공격적 언어 탐지에 대한 다국어 데이터를 제공함으로써 저자원 NLP 연구를 촉진하기 위해.
• 혐오 발언 탐지 맥락에서 저자원 및 고자원 언어 환경에서 다양한 NLP 아키텍처의 성능을 평가하기 위해.

제안 방법

• 영어, 히нд어, 마라티어를 대상으로 트위터 데이터에서 다국어 데이터셋을 구축하여 혐오 발언 및 공격적 콘텐츠에 대해 주석을 부여함.
• 두 가지 서브과제 정의: Task A(이진 분류: 혐오 대 비공격적)는 세 언어 모두에 대해, Task B(세분화된 분류: HATE, OFFENSIVE, PROFANITY)는 영어와 히нд어에 대해.
• 다양한 NLP 기법과 아키텍처를 사용한 65개 팀으로부터 총 652개의 시스템 런을 수집함.
• 표준 평가 지표(예: F1 점수)를 사용하여 언어 및 과제 간 성능을 비교 평가함.
• 상위 성능을 낸 시스템에서 트랜스포머 기반 아키텍처를 주로 활용하였으며, BERT 및 그 변종을 포함함.
• 재현 가능성과 모델 비교의 공정성을 확보하기 위해 데이터 주석 및 평가 프로토콜을 표준화함.

실험 결과

연구 질문

• RQ1 히нд어 및 마라티어와 같은 저자원 인도아리안 언어에서 혐오 발언 및 공격적 콘텐츠를 분류하는 데 다양한 NLP 모델이 어떻게 성능을 내는가?
• RQ2 혐오 발언 탐지 과제에서 고자원(영어) 언어와 저자원(히нд어, 마라티어) 언어 간의 성능 격차는 어느 정도인가?
• RQ3 다국어 환경에서 이진 분류 및 세분화된 분류 과제에서 가장 높은 F1 점수를 기록한 모델 아키텍처는 무엇인가?
• RQ4 전이 학습과 다국어 미사전훈련이 저자원 언어 혐오 발언 탐지 성능에 얼마나 기여하는가?
• RQ5 HASOC 공동 과제의 언어별 및 다국어 벤치마크에서 모델 예측의 일관성은 어느 정도인가?

주요 결과

• Task A에서 최고 성능을 낸 모델은 마라티어에서 F1 점수 0.91, 히нд어에서 0.78, 영어에서 0.83를 기록하여 저자원 환경에서도 강력한 성능을 보임.
• 트랜스포머 기반 아키텍처, 특히 다국어 BERT 변종이 모든 언어 및 과제에서 상위 제출물에서 지배적임.
• 영어(F1: 0.83)에서 히нд어(F1: 0.78)보다 성능이 높아 저자원 언어 탐지에서 성능 격차가 존재함을 시사함.
• 마라티어 데이터셋이 가장 높은 F1 점수(0.91)를 기록하여, 충분한 데이터와 철저한 주석 처리가 이루어진 저자원 언어에서도 모델 성능이 뛰어날 수 있음을 보여 줌.
• Task B인 세분화된 분류 과제는 Task A보다 전체적으로 성능이 낮아 HATE, OFFENSIVE, PROFANITY 클래스를 구분하는 데서 더 높은 복잡성이 반영됨.
• 공동 과제는 총 65개 팀과 652개의 시스템 런을 유치하여 다국어 혐오 발언 탐지 분야에 대한 광범위한 연구 관심을 반영함.