[논문 리뷰] Leveraging Affective Bidirectional Transformers for Offensive Language Detection

AbdelRahim Elmadany, Chiyu Zhang외 2명|arXiv (Cornell University)|2020. 05. 01.

Hate Speech and Cyberbullying Detection참고 문헌 25인용 수 6

한 줄 요약

이 논문은 사전 훈련된 정서 및 감정 모델을 사용한 전이 학습과 자동 데이터 증강을 적용하여, 정교하게 조정된 정서적 양방향 트랜스포머를 사용해 아랍어에서의 공격적 언어 및 혐오 발언 탐지에 대한 딥러닝 접근법을 제안한다. 사전 훈련된 감성 및 감정 모델을 활용한 전이 학습과 자동 데이터 증강을 통해 저자들은 공식 테스트 데이터에서 89.60%의 정확도와 82.31%의 매크로 F1을 달성하였으며, 이는 기존 BERT 모델을 초월하는 성능이다.

ABSTRACT

Social media are pervasive in our life, making it necessary to ensure safe online experiences by detecting and removing offensive and hate speech. In this work, we report our submission to the Offensive Language and hate-speech Detection shared task organized with the 4th Workshop on Open-Source Arabic Corpora and Processing Tools Arabic (OSACT4). We focus on developing purely deep learning systems, without a need for feature engineering. For that purpose, we develop an effective method for automatic data augmentation and show the utility of training both offensive and hate speech models off (i.e., by fine-tuning) previously trained affective models (i.e., sentiment and emotion). Our best models are significantly better than a vanilla BERT model, with 89.60% acc (82.31% macro F1) for hate speech and 95.20% acc (70.51% macro F1) on official TEST data.

연구 동기 및 목표

• 수동적인 특징 공학 없이 순수 딥러닝 기반의 공격적 언어 및 혐오 발언 탐지 시스템을 개발하기 위해.
• 사전 훈련된 정서 모델(감성 및 감정)에서의 전이 학습이 공격적 언어 탐지에 얼마나 효과적인지 탐색하기 위해.
• 아랍어 텍스트에 특화된 자동 데이터 증강 기법을 통해 모델의 일반화 능력을 향상시키기 위해.
• 아랍어 공격적 언어 및 혐오 발언 탐지에 대해 OSACT4 공동 과제에서 최고의 성능을 달성하기 위해.

제안 방법

• 공격적 언어 및 혐오 발언 탐지의 기초로 사전 훈련된 정서적 모델(감성 및 감정)을 미세조정하기 위해.
• 훈련 데이터의 다양성과 모델의 강건성을 높이기 위해 자동 데이터 증강 방법을 적용하기 위해.
• 수동 특징 없이 증강된 데이터를 사용하여 엔드 투 엔드 딥 네트워크를 훈련하기 위해.
• 분류 작업에 특화된 헤드 레이어를 갖춘 BERT 기반 아키텍처를 백본 모델로 사용하기 위해.
• 교차 엔트로피 손실과 표준 미세조정 절차를 사용하여 OSACT4 공동 과제 데이터셋에서 모델을 최적화하기 위해.
• 정확도와 매크로 F1을 주요 지표로 사용하여 공식 테스트 세트에서 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 정서적 모델을 사용해 특징 공학 없이도 아랍어에서의 공격적 언어 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 자동 데이터 증강 기법이 자원이 제한된 공격적 언어 탐지에서 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 감성 및 감정 모델에서의 전이 학습이 초기 학습과 비교해 혐오 발언 탐지 성능을 향상시키는가?
• RQ4 정교하게 조정된 정서적 트랜스포머가 아랍어 공격적 언어 탐지에서 기존 BERT보다 얼마나 뛰어난가?

주요 결과

• 제안된 방법은 혐오 발언 탐지 과제에서 89.60%의 정확도와 82.31%의 매크로 F1을 달성하여 기존 BERT 모델을 크게 능가하였다.
• 공격적 언어 탐지 과제에서는 공식 테스트 데이터에서 95.20%의 정확도와 70.51%의 매크로 F1을 기록하여 뛰어난 성능을 보였다.
• 사전 훈련된 정서적 모델의 미세조정은 표준 BERT 미세조정보다 상당한 성능 향상을 이끌어내어 정서적 사전 지식의 가치를 입증하였다.
• 자동 데이터 증강 기법은 자원이 제한된 아랍어 텍스트에서 모델의 일반화 능력과 강건성을 향상시키는 데 기여하였다.
• 감성 및 감정 모델에서의 전이 학습이 아랍어 공격적 언어 탐지에 실현 가능하고 효과적인 전략임을 확인하였다.
• 시스템은 OSACT4 공동 과제에서 최고 성능을 달성하여 제안된 접근법의 효과성을 입증하였다.