[논문 리뷰] Offensive Language and Hate Speech Detection with Deep Learning and Transfer Learning

Bencheng Wei, Jason Li외 4명|arXiv (Cornell University)|2021. 08. 06.

Hate Speech and Cyberbullying Detection참고 문헌 1인용 수 19

한 줄 요약

이 논문은 BERT, DistilBERT, GPT-2를 사용한 전이 학습과 병행하여 Bi-LSTM을 활용한 딥러닝 접근법을 제안하여 트윗을 혐오 발언, 모욕적 언어 또는 둘 다 아닌 것으로 분류한다. 공개된 24,783개 트윗 데이터셋을 사용하여 초모수 조정 후 92% 이상의 정확도를 달성하였으며, ALBERT 모델이 다른 전이 학습 아키텍처보다 분류 성능에서 뛰어났다.

ABSTRACT

Toxic online speech has become a crucial problem nowadays due to an exponential increase in the use of internet by people from different cultures and educational backgrounds. Differentiating if a text message belongs to hate speech and offensive language is a key challenge in automatic detection of toxic text content. In this paper, we propose an approach to automatically classify tweets into three classes: Hate, offensive and Neither. Using public tweet data set, we first perform experiments to build BI-LSTM models from empty embedding and then we also try the same neural network architecture with pre-trained Glove embedding. Next, we introduce a transfer learning approach for hate speech detection using an existing pre-trained language model BERT (Bidirectional Encoder Representations from Transformers), DistilBert (Distilled version of BERT) and GPT-2 (Generative Pre-Training). We perform hyper parameters tuning analysis of our best model (BI-LSTM) considering different neural network architectures, learn-ratings and normalization methods etc. After tuning the model and with the best combination of parameters, we achieve over 92 percent accuracy upon evaluating it on test data. We also create a class module which contains main functionality including text classification, sentiment checking and text data augmentation. This model could serve as an intermediate module between user and Twitter.

연구 동기 및 목표

• 소셜 미디어 콘텐츠에서 증가하는 독성 온라인 발언, 특히 혐오 발언과 모욕적 언어에 대응하기 위해.
• 자동화되고 확장 가능한 솔루션을 개발하여 트윗을 세 가지 카테고리로 분류하기 위해: 혐오 발언, 모욕적 언어, 또는 둘 다 아님.
• BERT, DistilBERT, GPT-2와 같은 사전 학습된 언어 모델을 활용한 전이 학습을 통해 분류 정확도를 향상시키기 위해.
• Keras Tuner를 활용한 초모수 조정을 통해 학습률, 드롭아웃, 완전 연결층 설정 등에 중점을 두어 모델 성능을 최적화하기 위해.
• 브랜드 안전 응용 분야에서 텍스트 분류, 감성 분석, 데이터 증강을 지원하는 재사용 가능하고 모듈화된 NLP 파이프라인을 구축하기 위해.

제안 방법

• 저자들은 텍스트 분류의 기준 성능을 확보하기 위해 무작위 및 사전 학습된 GloVe 임베딩을 사용하여 Bi-LSTM 모델을 훈련시켰다.
• 세 가지 사전 학습된 모델인 BERT, DistilBERT, GPT-2를 사용하여 전이 학습을 적용하고, 세 가지 카테고리의 혐오 발언 분류 작업에 맞게 미세조정하였다.
• Keras Tuner 라이브러리를 사용하여 초모수 조정을 수행하였으며, LSTM 및 완전 연결층의 히든 유닛 수, 드롭아웃 비율, 학습률을 최적화하였다.
• 배치 크기 128과 20 에포크로 모델을 훈련시었으며, Adam 옵timizer와 분류 교차 엔트로피 손실 함수를 사용하였다.
• 텍스트 분류, TextBlob를 통한 감성 분석, 그리고 강화된 내구성을 확보하기 위한 데이터 증강을 지원하는 커스텀 클래스 모듈을 개발하였다.
• 모델 평가는 테스트 데이터를 사용하여 수행되었으며, 정확도, 혼동 행렬, 그리고 오진 양성 및 오진 음성의 비용-편익 분석을 통해 성능을 측정하였다.

실험 결과

연구 질문

• RQ1 BERT, DistilBERT, GPT-2와 같은 전이 학습 모델이 무작위 또는 GloVe 임베딩을 사용한 전통적인 Bi-LSTM 모델보다 모욕적 언어와 혐오 발언 분류에서 뛰어난 성능을 보일 수 있는가?
• RQ2 이 데이터셋에서 Bi-LSTM 아키텍처의 분류 정확도를 극대화하기 위해 최적의 초모수 조합(예: 학습률, 드롭아웃, 히든 유닛 수)은 무엇인가?
• RQ3 오진 양성 및 오진 음성 예측이 브랜드 안전에 어떤 영향을 미치며, 비용이 많이 드는 잘못된 분류를 최소화하기 위해 모델 성능을 어떻게 최적화할 수 있는가?
• RQ4 데이터 불균형이 모델 성능에 어떤 영향을 미치며, 데이터 증강 및 정규화 기법을 통해 이를 어떻게 완화할 수 있는가?
• RQ5 실시간 소셜 미디어 모니터링에서 효과적으로 작동할 수 있는 재사용 가능하고 모듈화된 NLP 파이프라인을 구축할 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 모델은 미세조정된 ALBERT 기반 전이 학습 모델로, 테스트 세트에서 92% 이상의 정확도를 달성하여 무작위 임베딩을 사용한 Bi-LSTM 및 다른 전이 학습 모델보다 뛰어났다.
• 초모수 조정이 모델 성능을 크게 향상시켰으며, 최적의 설정은 352 및 320개의 LSTM 유닛, 0.65 및 0.80의 드롭아웃 비율, 0.0001의 학습률을 포함한다.
• 전이 학습 모델들 중에서 베이스 ALBERT 모델이 가장 높은 정확도를 보였으며, 그 다음으로 DistilBERT, GPT-2 순이었으며, 이는 이 작업에서 더 작은, 정제된 모델이 뛰어난 성능을 보였음을 시사한다.
• TextBlob를 통한 감성 분석 결과, 혐오 발언과 모욕적 언어를 포함한 트윗은 중립 트윗(주관성 ≈0.3)과 유사한 주관성(≈0.4)을 보였지만, 더 부정적인 경향을 보였다.
• 모델는 모욕적 언어와 중립 콘텐츠를 강력하게 구분할 수 있었지만, 클래스 0(혐오 발언)과 클래스 1(모욕적 언어) 간에 겹치는 어휘가 존재하여 분류 난이도가 높아졌다.
• ALBERT 기반 모델을 활용한 실제 브랜드 안전 응용 분야에서의 재현 가능성 및 배포를 가능하게 하기 위해 공개된 GitHub 리포지터리에 Jupyter 노트북이 제공되어 있다.