[논문 리뷰] Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models

Shuohuan Wang, Jiaxiang Liu외 2명|arXiv (Cornell University)|2020. 10. 07.

Hate Speech and Cyberbullying Detection참고 문헌 34인용 수 5

한 줄 요약

이 논문은 다국어 사전 훈련된 언어 모델(XLM-R 및 ERNIE)을 사용하여 영어, 그리스어, 터키어, 덴마크어, 아랍어 등 다섯 가지 언어에서 악성 언어 식별을 위한 갈릴레오의 접근 방식을 제시한다. 지식 정련을 통해 악성 언어 분류를 수행하였으며, 이 시스템은 최고의 성능을 기록하여 Sub-task A에서 모든 언어의 평균 F1 점수에서 1위를 차지했고, Sub-task B(악성 언어 유형 분류)와 Sub-task C(악성 언어 대상 식별)에서도 각각 1위를 기록하였다.

ABSTRACT

This paper describes Galileo's performance in SemEval-2020 Task 12 on detecting and categorizing offensive language in social media. For Offensive Language Identification, we proposed a multi-lingual method using Pre-trained Language Models, ERNIE and XLM-R. For offensive language categorization, we proposed a knowledge distillation method trained on soft labels generated by several supervised models. Our team participated in all three sub-tasks. In Sub-task A - Offensive Language Identification, we ranked first in terms of average F1 scores in all languages. We are also the only team which ranked among the top three across all languages. We also took the first place in Sub-task B - Automatic Categorization of Offense Types and Sub-task C - Offence Target Identification.

연구 동기 및 목표

• 영어, 그리스어, 터키어, 덴마크어, 아랍어를 포함한 다양한 언어에서 일반화가 가능한 다국어 악성 언어 식별 시스템을 개발하는 것.
• 다양한 감독 모델에서 유도된 소프트 레이블을 활용한 지식 정련을 통해 악성 언어 분류 성능을 향상시키는 것.
• 저자원 언어에 대한 도전 과제를 교차 언어 전이 학습을 통해 해결하는 것.
• SemEval-2020 Task 12의 세 가지 하위 과제인 악성 언어 탐지, 악성 언어 유형 분류, 악성 언어 대상 식별에서 높은 성능을 달성하는 것.
• 앙상블 학습과 다국어 사전 훈련이 저자원 및 다국어 NLP 환경에서 효과적인지 검증하는 것.

제안 방법

• 영어, 그리스어, 터키어, 덴마크어, 아랍어 등 다섯 가지 언어에서 악성 언어 탐지에 대해 다국어 사전 훈련된 언어 모델인 XLM-R Base 및 XLM-R Large를 사용하여 교차 언어 미세조정을 수행하였다.
• Sub-task A에서 정확도와 일반화 능력을 향상시키기 위해 XLM-R Large를 기반으로 한 십중합 교차 검증 기반 앙상블을 적용하였다.
• Sub-task B 및 Sub-task C에서 분류 성능 향상을 위해 ALBERT-XXLarge 및 ERNIE 2.0와 같은 다수의 감독 모델에서 생성된 소프트 레이블을 활용한 지식 정련을 사용하였다.
• 하드 레이블을 초월한 미묘한 분류 패턴을 포착하기 위해 교사 모델의 소프트 타겟을 사용하여 학생 모델을 훈련시켰다.
• SEM-2.0에서 동적 지식 마스킹과 응용 분야에 특화된 사전 훈련 태스크를 통합한 다중 작업 학습 전략을 구현하여 의미적 표현을 향상시켰다.
• 다양한 모델의 결과를 앙상블 기법을 통해 통합하여 모든 하위 과제에서 최종 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 XLM-R 및 ERNIE와 같은 다국어 사전 훈련된 언어 모델이 다양한 언어에서 악성 언어 탐지에 대해 강력한 제로샷 또는 희소한 few-shot 일반화 성능를 달성할 수 있는가?
• RQ2 다양한 교사 모델에서 유도된 소프트 레이블을 사용한 지식 정련이 하드 레이블 감독에 비해 악성 언어 분류 성능을 향상시키는가?
• RQ3 목표 언어의 애너테이션 데이터가 제한적인 경우(예: 덴마크어 또는 아랍어), 교차 언어 전이 학습이 얼마나 효과적인가?
• RQ4 다양한 사전 훈련된 모델을 사용한 앙상블 학습이 다국어 악성 언어 탐지에서 단일 모델 기반 베이스라인을 일관되게 능가하는가?
• RQ5 다양한 사전 훈련 전략(예: ERNIE 2.0의 동적 지식 마스킹)이 악성 언어 분류 작업에 미치는 영향은 무엇인가?

주요 결과

• Sub-task A에서 갈릴레오는 모든 언어의 평균 F1 점수 0.8595를 기록하여 모든 팀 중에서 1위를 차지하였다.
• Sub-task A에서 시스템은 영어(0.9199), 그리스어(0.8510), 터키어(0.8258), 덴마크어(0.8020), 아랍어(0.8989)에서 각각 F1 점수를 기록하여 모든 언어에서 상위 3개 이내에 진입하였다.
• Sub-task B(악성 언어 유형 분류)에서 시스템은 F1 점수 0.7462를 기록하여 1위를 확보하였다.
• Sub-task C(악성 언어 대상 식별)에서 시스템은 F1 점수 0.7145를 기록하여 참가자 전원 중 1위를 기록하였다.
• 소프트 레이블을 활용한 지식 정련은 하드 레이블 훈련 대비 약 2.5~3%의 성능 향상을 보였으며, 이는 복잡한 분류 과제에서의 효과성을 입증하였다.
• XLM-R Large 모델의 앙상블은 단일 모델 추론보다 뛰어난 성능을 보였으며, 특히 덴마크어나 아랍어와 같은 저자원 언어에서 모델 평균화의 이점을 입증하였다.