[논문 리뷰] Fine-tuning of Pre-trained Transformers for Hate, Offensive, and Profane Content Detection in English and Marathi

Anna Glazkova, Michael Kadantsev외 1명|arXiv (Cornell University)|2021. 10. 25.

Hate Speech and Cyberbullying Detection인용 수 9

한 줄 요약

이 논문은 트위터-로베르타와 라브세를 사용하여 영어 및 마라티어에서 혐오 발언, 모욕적 발언, 불건전한 발언 탐지에 적응된 트랜스포머 모델을 제시한다. 영어 서브태스크 A에서 F1 스코어 81.99%를 기록하여 3위를 차지했고, 마라티어 서브태스크 A에서는 88.08%를 기록하여 2위를 하였다. 불균형 데이터셋에서 성능을 향상시키기 위해 앙상블 및 데이터 증강 기법을 활용하였다.

ABSTRACT

This paper describes neural models developed for the Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages Shared Task 2021. Our team called neuro-utmn-thales participated in two tasks on binary and fine-grained classification of English tweets that contain hate, offensive, and profane content (English Subtasks A & B) and one task on identification of problematic content in Marathi (Marathi Subtask A). For English subtasks, we investigate the impact of additional corpora for hate speech detection to fine-tune transformer models. We also apply a one-vs-rest approach based on Twitter-RoBERTa to discrimination between hate, profane and offensive posts. Our models ranked third in English Subtask A with the F1-score of 81.99% and ranked second in English Subtask B with the F1-score of 65.77%. For the Marathi tasks, we propose a system based on the Language-Agnostic BERT Sentence Embedding (LaBSE). This model achieved the second result in Marathi Subtask A obtaining an F1 of 88.08%.

연구 동기 및 목표

• 다국어 소셜 미디어 텍스트에서 혐오, 모욕적, 불건전한 콘텐츠를 탐지하기 위한 강력한 NLP 모델 개발.
• 저자원 및 불균형 데이터셋에서 추가 학습 코퍼스와 데이터 증강의 영향을 조사.
• 특히 마라티어와 같은 저자원 언어 작업에서 단일언어 및 다국어 BERT 기반 모델의 성능 비교.
• 앙상블 전략 및 이진 분류 헤드에 대한 one-vs-rest 적응 학습을 통해 분류 성능 향상.
• 영어 및 마라티어 혐오 발언 탐지에서 HASOC 2021 공동 과제에서 최고 성능 달성.

제안 방법

• 다양한 소스의 학습 데이터(헤이트베이스트위터, 헤이밸, 올리드 포함)를 사용하여 영어 트윗의 이진 및 세분화된 분류를 위한 트위터-로베르타의 적응 학습.
• 다중 클래스 예측을 해결하기 위해 세 개의 이진 분류기(혐오 대 불건전, 혐오 대 모욕적, 모욕적 대 불건전)를 사용한 one-vs-rest 앙상블 전략 적용.
• 여러 이진 모델 간 소프트 보팅을 수행하며, 동점 시 투표 수와 학습 세트의 클래스 빈도를 기반으로 최종 레이블 할당.
• 노이즈 제거 복원을 위한 적응 학습된 BART-base 모델을 활용한 데이터 증강을 통해 합성 학습 예제 생성.
• 불균형 문제를 해결하기 위해 무작위 오버샘플링 및 다국어 데이터 조합(영어, 히디, 마라티) 등의 데이터 샘플링 기법 탐색.
• 마라티어 데이터에 대해 라브세와 XLM-로베르타를 평가하였으며, 단일언어 및 다국어 조합에 대해 적응 학습을 수행하였고, 최종 제출은 다섯 개의 라브세 모델을 소프트 보팅한 앙상블을 사용하였다.

실험 결과

연구 질문

• RQ1 외부 혐오 발언 코퍼스의 포함이 영어 혐오 발언 탐지 과제에서 적응된 트랜스포머 성능에 어떤 영향을 미치는가?
• RQ2 데이터 증강 및 샘플링 기법은 혐오 발언 데이터셋의 불균형 문제 완화에 얼마나 효과적인가?
• RQ3 저자원 환경(예: 마라티어)에서 단일언어 및 다국어 BERT 기반 모델은 어떻게 비교되는가?
• RQ4 이진 분류기로 구성된 one-vs-rest 앙상블 전략이 세분화된 혐오 발언 탐지에서 직접적인 다중 클래스 분류보다 성능이 뛰어나게 되는가?
• RQ5 언어에 구애받지 않는 사전 학습(LaBSE)이 저자원 언어 과제에서 다국어 BERT(XLM-RoBERTa)보다 더 높은 성능을 내는가?

주요 결과

• 트위터-로베르타 기반 모델은 영어 서브태스크 A에서 F1 스코어 81.99%를 기록하여 총 56개 팀 중 3위를 차지하였다.
• 영어 서브태스크 B에서는 F1 스코어 65.77%를 기록하여 총 37개 팀 중 2위를 하였다.
• 라브세 기반 모델은 마라티어 서브태스크 A에서 F1 스코어 88.08%를 기록하여 총 25개 팀 중 2위를 하였다.
• 라브세는 모든 설정에서 XLM-RoBERTa를 초월하였으며, 가장 높은 단일언어 마라티어 적응 학습(F1=87.76%)이 다국어 변형을 뛰어넘었다.
• 다국어 적응 학습은 XLM-RoBERTa의 성능을 향상시켰지만, 라브세는 단일언어 마라티어 데이터에서도 뛰어난 성능을 기록하였다.
• 여러 이진 분류기의 앙상블 전략과 투표 기반의 레이블 할당 방식이 영어 및 마라티어 과제에서 모두 예측 일관성과 최종 성능 향상에 기여하였다.