[논문 리뷰] SemEval-2020 Task 12: Multilingual Offensive Language Identification in Social Media (OffensEval 2020)

Marcos Zampieri, Preslav Nakov외 7명|arXiv (Cornell University)|2020. 06. 12.

Hate Speech and Cyberbullying Detection인용 수 16

한 줄 요약

이 논문은 다국어 공유 과제인 OffensEval 2020을 제시하며, 영어, 아랍어, 덴마크어, 그리스어, 터키어 5개 언어로 확장된 OLID annotation schema를 활용해 소셜 미디어에서의 공격적 언어 식별을 위한 다국어 과제를 수행한다. 이는 900만 건이 넘는 영어 트윗을 포함한 대규모 준지도 학습 데이터셋을 제공하며, 공격적 언어 탐지(A), 공격 유형 분류(B), 공격 대상 식별(C)의 세 가지 하위 과제에 대한 벤치마크 데이터셋을 제공한다. 총 145개 팀과 70篇의 시스템 기술 논문이 참여하였다.

ABSTRACT

We present the results and main findings of SemEval-2020 Task 12 on Multilingual Offensive Language Identification in Social Media (OffensEval 2020). The task involves three subtasks corresponding to the hierarchical taxonomy of the OLID schema (Zampieri et al., 2019a) from OffensEval 2019. The task featured five languages: English, Arabic, Danish, Greek, and Turkish for Subtask A. In addition, English also featured Subtasks B and C. OffensEval 2020 was one of the most popular tasks at SemEval-2020 attracting a large number of participants across all subtasks and also across all languages. A total of 528 teams signed up to participate in the task, 145 teams submitted systems during the evaluation period, and 70 submitted system description papers.

연구 동기 및 목표

• 트위터, 페이스북, 레딧과 같은 다국어 소셜 미디어 플랫폼에서 증가하는 공격적 언어 문제를 다루기 위해.
• 초기 영어 전용으로 개발된 OLID annotation schema를 다국어로 확장하여 일관된 계층적 레이블링을 지원함으로써 공격적 언어 탐지에 활용.
• 하위 과제 A(공격적 언어 탐지), B(공격 유형 분류), C(공격 대상 식별)를 위한 대규모 다국어 데이터셋을 제공하기 위해.
• 영어 외 아랍어, 덴마크어, 그리스어, 터키어의 평행 데이터셋을 도입하여 다국어 간 전이 학습을 가능하게 하기 위해.
• 광범위한 공동 참여와 벤치마크를 통해 악성 언어 탐지 분야의 연구를 촉진하기 위해.

제안 방법

• OLID의 3단계 계층적 annotation schema를 채택함: A 수준(공격적(OFF) 대비 비공격적(NOT)), B 수준(대상 지정(TIN) 대비 비대상 지정(UNT)), C 수준(개인(IND), 집단(GRP), 기타(OTH)) 대상 식별.
• 사용자 언급을 @USER로 익명화하여 언어 간 일관성을 확보한 다국어 데이터셋을 수집 및 전처리함.
• 900만 건이 넘는 영어 트윗을 포함한 준지도 학습 데이터셋을 제공하여 학습 능력을 크게 향상시킴.
• 언어 간 크기가 다른 테스트 세트를 구성하였으며, 영어는 세 하위 과제 모두에서 가장 큰 테스트 세트를 확보함.
• 언어 간 데이터 수집 및 annotation 절차를 표준화하여 데이터셋의 일관성과 비교 가능성을 향상시킴.
• 5개 언어 간 annotation schema와 데이터 포맷을 정렬함으로써 다국어 간 전이 학습을 촉진함.

실험 결과

연구 질문

• RQ1 아랍어, 덴마크어, 그리스어, 터키어, 영어와 같은 다양한 언어에서 다국어 모델이 공격적 언어 탐지에 얼마나 효과적인가?
• RQ2 다국어 간 전이 학습이 저자원 언어인 덴마크어와 그리스어에서 성능을 얼마나 향상시키는가?
• RQ3 다국어 환경에서 대상 지정(TIN)과 비대상 지정(UNT) 공격적 콘텐츠를 모델이 얼마나 잘 구분할 수 있는가?
• RQ4 계층적 annotation schema가 여러 언어에 걸쳐 일관되게 적용될 수 있는가? 이는 모델의 일반화 및 해석 가능성 향상에 기여하는가?
• RQ5 대규모 준지도 학습 데이터를 사용할 경우 공격적 언어 탐지 과제에서 성능 향상은 어느 정도 이루어지는가?

주요 결과

• OffensEval 2020 공유 과제는 총 528개 팀이 참가하였으며, 145개 팀이 공식 런을 제출하여 공격적 언어 탐지 분야에서 높은 공동 참여도를 보였다.
• 이 과제는 기록적인 70편의 시스템 기술 논문을 확보하였으며, 이는 높은 연구 관심도와 방법론적 혁신을 반영한다.
• 하위 과제 A, B, C에 대한 영어 데이터셋의 테스트 세트 크기는 각각 3,897건(A), 1,922건(B), 1,922건(C)으로, 강력한 평가를 가능하게 하였다.
• 다국어 데이터셋은 아랍어(2,000개 테스트 예시), 덴마크어(329개), 그리스어(1,544개), 터키어(3,528개)로 구성되어 다국어 분석에 다양한 언어적 커버리지를 제공하였다.
• 900만 건이 넘는 영어 트윗을 포함한 준지도 학습 데이터셋은 모델 사전학습 및 미세조정을 위한 데이터 확보를 크게 확장하였다.
• 참여한 여러 시스템은 다국어 간 전이 학습을 탐색하였으며, 영어 데이터를 활용해 저자원 언어에서의 성능 향상 가능성을 보여주었다.