[논문 리뷰] Neural Models for Offensive Language Detection

Ehab Hamdy|arXiv (Cornell University)|2021. 05. 30.

Hate Speech and Cyberbullying Detection참고 문헌 4인용 수 4

한 줄 요약

이 석사학위 논문은 사회적 미디어에서 공격적 언어 탐지에 적합한 신경망 모델을 평가하며, BERT 기반 아키텍처와 BlazingText와 같은 효율적 대체 모델을 중심으로 다룬다. 연구 결과 RoBERTa가 공격적 언어 탐지 작업에서 가장 높은 F1 스코어를 기록한 반면, BlazingText는 유의미하게 빠른 추론 속도를 보여 실시간 응용에 적합함을 입증한다.

ABSTRACT

Offensive language detection is an ever-growing natural language processing (NLP) application. This growth is mainly because of the widespread usage of social networks, which becomes a mainstream channel for people to communicate, work, and enjoy entertainment content. Many incidents of sharing aggressive and offensive content negatively impacted society to a great extend. We believe contributing to improving and comparing different machine learning models to fight such harmful contents is an important and challenging goal for this thesis. We targeted the problem of offensive language detection for building efficient automated models for offensive language detection. With the recent advancements of NLP models, specifically, the Transformer model, which tackled many shortcomings of the standard seq-to-seq techniques. The BERT model has shown state-of-the-art results on many NLP tasks. Although the literature still exploring the reasons for the BERT achievements in the NLP field. Other efficient variants have been developed to improve upon the standard BERT, such as RoBERTa and ALBERT. Moreover, due to the multilingual nature of text on social media that could affect the model decision on a given tween, it is becoming essential to examine multilingual models such as XLM-RoBERTa trained on 100 languages and how did it compare to unilingual models. The RoBERTa based model proved to be the most capable model and achieved the highest F1 score for the tasks. Another critical aspect of a well-rounded offensive language detection system is the speed at which a model can be trained and make inferences. In that respect, we have considered the model run-time and fine-tuned the very efficient implementation of FastText called BlazingText that achieved good results, which is much faster than BERT-based models.

연구 동기 및 목표

• 소셜 미디어에서 최신 신경망 모델의 공격적 언어 탐지 성능을 평가하기 위해.
• 특히 RoBERTa와 XLM-RoBERTa를 중심으로 多국어 및 단국어 모델 간 성능 비교를 위해.
• 실시간 배포에 적합한 모델(예: BlazingText)의 추론 속도 및 효율성을 평가하기 위해.
• 데이터 증강 및 파인튜닝 전략이 모델 성능에 미치는 영향을 조사하기 위해.
• 공격적 언어 탐지 작업에 대해 트랜스포머 기반 모델과 빠른 추론 모델의 포괄적 벤치마크를 제공하기 위해.

제안 방법

• 공격적 언어 탐지 작업에 대해 BERT 및 그 변종(RoBERTa, ALBERT)을 사용한 시퀀스 분류를 수행한다.
• 사전 학습된 언어 모델을 공격적 언어 데이터셋에 대해 파인튜닝함으로써 전이 학습을 적용한다.
• 일반화 성능 향상을 위해 백트랜슬레이션과 같은 데이터 증강 기법을 적용한다.
• PyTorch 기반의 빠른 모델인 BlazingText를 도입하여 BERT 기반 모델과의 효율성 및 성능 비교를 수행한다.
• 모델 성능 최적화를 위해 하이퍼파rameter 튜닝 및 교차 검증을 실시한다.
• BERT 및 BlazingText에 적합한 표준 전처리 파이프라인(토크나이제이션, 서브워드 토크나이제이션, 입력 포맷팅 포함)을 구현한다.

실험 결과

연구 질문

• RQ1 어느 트랜스포머 기반 모델이 공격적 언어 탐지 작업에서 가장 높은 F1 스코어를 기록하는가?
• RQ2 XLM-RoBERTa와 같은 다국어 모델의 성능은 단국어 모델 대비 어떻게 비교되는가?
• RQ3 BERT와 BlazingText를 사용할 경우 정확도와 추론 속도 사이의 상호 상충 관계는 어떠한가?
• RQ4 데이터 증강 기법이 모델의 강건성 및 일반화 능력 향상에 얼마나 기여하는가?
• RQ5 저자원 환경에서 BERT 기반 모델에 대한 파인튜닝 전략은 얼마나 효과적인가?

주요 결과

• RoBERTa 기반 모델은 두 공격적 언어 탐지 작업 모두에서 가장 높은 F1 스코어를 기록하여 BERT 및 기타 변종을 압도했다.
• BlazingText는 BERT 기반 모델 대비 유의미하게 빠른 추론 속도를 보였으며, 이는 실시간 응용에 적합함을 시사한다.
• 다국어 모델인 XLM-RoBERTa도 강력한 성능를 보였지만, 평가된 데이터셋에서는 RoBERTa가 더 높은 성능를 기록했다.
• 백트랜슬레이션과 같은 데이터 증강 기법은 특히 저자원 환경에서 모델의 일반화 능력을 향상시키는 데 기여했다.
• 특정 작업용 헤드를 사용한 BERT 기반 모델의 파인튜닝은 이진 및 다중 클래스 공격적 언어 분류 모두에서 일관된 성능 향상을 이끌어냈다.
• 본 연구는 RoBERTa가 정확도 측면에서 공격적 언어 탐지에 가장 효과적인 모델임을 확인하였고, BlazingText는 속도 중심의 배포에 최적임을 입증한다.