[논문 리뷰] Spread Love Not Hate: Undermining the Importance of Hateful Pre-training for Hate Speech Detection

Omkar Gokhale, Aditya Kane외 3명|arXiv (Cornell University)|2022. 10. 09.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 히브리시드 전훈(pre-training)이 혐오 발언 탐지에 필수적이라는 가정을 도전하며, 힌두어와 마라티어에서 혐오적 콘텐츠가 아닌 또는 무작위로 선택된 도메인 내 트윗으로 전훈된 모델이 혐오적 콘텐츠로 전훈된 모델보다 성능이 뛰어나거나 동등한 성능을 내는 것으로 보여준다. 인도어 언어를 위한 최신 기술 수준의 BERT 모델인 MahaTweetBERT와 HindTweetBERT를 개발하고, 골드 표준 혐오 발언 벤치마크를 함께 공개함으로써, 성능 향상의 핵심은 혐오 전용 전훈이 아니라 도메인 적응(domain adaptation)임을 입증한다.

ABSTRACT

Pre-training large neural language models, such as BERT, has led to impressive gains on many natural language processing (NLP) tasks. Although this method has proven to be effective for many domains, it might not always provide desirable benefits. In this paper, we study the effects of hateful pre-training on low-resource hate speech classification tasks. While previous studies on the English language have emphasized its importance, we aim to augment their observations with some non-obvious insights. We evaluate different variations of tweet-based BERT models pre-trained on hateful, non-hateful, and mixed subsets of a 40M tweet dataset. This evaluation is carried out for the Indian languages Hindi and Marathi. This paper is empirical evidence that hateful pre-training is not the best pre-training option for hate speech detection. We show that pre-training on non-hateful text from the target domain provides similar or better results. Further, we introduce HindTweetBERT and MahaTweetBERT, the first publicly available BERT models pre-trained on Hindi and Marathi tweets, respectively. We show that they provide state-of-the-art performance on hate speech classification tasks. We also release hateful BERT for the two languages and a gold hate speech evaluation benchmark HateEval-Hi and HateEval-Mr consisting of manually labeled 2000 tweets each. The models and data are available at https://github.com/l3cube-pune/MarathiNLP .

연구 동기 및 목표

• 저자원 인도어 언어인 힌두어와 마라티어에서 효과적인 혐오 발언 탐지에 대해 혐오 전훈이 진정으로 필수적인지 조사하기 위해.
• 4000만 트윗 코퍼스의 혐오적, 비혐오적, 무작위 서브셋으로 전훈된 BERT 모델들이 혐오 발언 분류 작업에서 어떻게 성능을 내는지 평가하기 위해.
• 마라티어와 힌두어 트윗으로 전훈된 첫 공개 가능한 BERT 모델인 MahaTweetBERT와 HindTweetBERT를 개발하고 배포하기 위해.
• 각 언어당 수동으로 레이블링된 2,000개의 트윗을 포함하는 골드 표준 혐오 발언 평가 벤치마크인 HateEval-Hi와 HateEval-Mr를 구축하기 위해.
• 혐오 전용 전훈이 아니라 도메인 특화된 전훈(내용 극성에 관계없이)이 더 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 마라티어와 힌두어 트윗 각각 4000만 건에 대해 마스크된 언어 모델링(Masked Language Modeling, MLM) 목적함수를 사용해 MahaBERT와 HindBERT 모델을 전훈하였다.
• 이전 최고 기술 수준의 혐오 발언 모델에서 도출된 신뢰도 점수를 활용해 4000만 트윗 코퍼스에서 세 가지 서브셋을 추출하였다: 가장 혐오적인 트윗(상위 100만 건), 가장 비혐오적인 트윗(하위 100만 건), 무작위 트윗(100만 건).
• 25 에포크 학습 스케줄과 5e-6 초기 학습률을 사용해 HASOC 및 CONSTRAINT와 같은 하류 혐오 발언 탐지 데이터셋에 각 모델 버전을 피니테스트(fine-tuned)하였다.
• 재현성과 접근성을 확보하기 위해 Hugging Face의 transformers 라이브러리를 사용해 학습 및 모델 호스팅을 수행하였다.
• 각 실험에 대해 다섯 번의 랜덤 시드 실행을 수행하고 평균 매크로-F1 점수를 보고하여 통계적 신뢰성을 확보하였다.
• 모든 모델, 데이터셋, 학습 코드를 L3Cube-MarathiNLP 프로젝트 하에 GitHub에 배포하여 커뮤니티의 사용을 위해 제공하였다.

실험 결과

연구 질문

• RQ1 저자원 인디크 언어인 힌두어와 마라티어에서 혐오 트윗으로 전훈하면 혐오 발언 탐지 성능이 향상되는가?
• RQ2 혐오 전훈으로 인한 성능 향상은 도메인 적응 때문인지, 아니면 전훈 데이터의 특정 혐오적 콘텐츠 때문인가?
• RQ3 비다국어 모델이 도메인 내 트윗으로 전훈된 모델과 다국어 모델인 MuRIL에 비해 혐오 발언 탐지 작업에서 어떻게 성능을 내는가?
• RQ4 비혐오적 또는 무작위 도메인 내 텍스트로 전훈된 모델가 혐오 콘텐츠로 전훈된 모델와 동등하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ5 4000만 트윗에 대한 대규모 전훈이, 더 작은 커리티드 서브셋보다 하류 혐오 발언 분류 성능 향상에 얼마나 기여하는가?

주요 결과

• 비혐오적 또는 무작위 트윗 서브셋으로 전훈된 모델이 힌두어와 마라티어 양쪽 모두에서 혐오 콘텐츠로 전훈된 모델보다 성능이 뛰어나거나 동등했다.
• 4000만 도메인 내 트윗으로 전훈된 MahaTweetBERT와 HindTweetBERT 모델은 모든 하류 데이터셋에서 최고 기술 수준의 성능을 기록했으며, 심지어 혐오 전훈 버전보다도 뛰어났다.
• 혐오 전훈 버전(MahaTweetBERT-Hateful 등)은 최고의 성능을 내지 못했으며, 매크로-F1 기준으로 마라티어 데이터셋 3개 중 2개와 힌두어 데이터셋 모두에서 비혐오적 또는 무작위 데이터로 전훈된 모델보다 성능이 열 劣했다.
• 대규모 도메인 내 트윗 코퍼스로 재학습된 비다국어 모델이, 17개 인도어 언어와 수십억 토큰으로 전훈된 다국어 모델 MuRIL보다 뚜렷이 뛰어난 성능을 보였다.
• 혐오 전훈으로 인한 성능 향상은 혐오 특화 언어 패턴을 학습하는 것보다 도메인 적응의 부산물일 가능성이 높다.
• 각각 2000개의 수동 레이블링된 트윗을 포함하는 HateEval-Hi와 HateEval-Mr의 배포는 힌두어와 마라티어에서 혐오 발언 탐지에 대한 첫 골드 표준 벤치마크를 제공한다.