[논문 리뷰] TweetBLM: A Hate Speech Dataset and Analysis of Black Lives Matter-related Microblogs on Twitter

Sumit Kumar, Raj Ratn Pranesh|arXiv (Cornell University)|2021. 08. 27.

Hate Speech and Cyberbullying Detection인용 수 9

한 줄 요약

이 논문은 'Hate' 또는 'Non-Hate'로 레이블이 지정된 9,165건의 블랙 라이브스 매터 관련 트윗으로 구성된 수작업으로 분류된 혐오 발언 데이터셋인 TweetBLM을 소개한다. BERT-base 및 BERT-large를 포함한 다양한 모델을 평가하였으며, BERT-large는 혐오 발언 분류에서 89.13%의 최고 정확도를 기록하여 흑인 공동체를 대상으로 하는 온라인 혐오 발언 완화를 위한 유용한 자원을 제공한다.

ABSTRACT

In the past few years, there has been a significant rise in toxic and hateful content on various social media platforms. Recently Black Lives Matter movement came into the picture, causing an avalanche of user generated responses on the internet. In this paper, we have proposed a Black Lives Matter related tweet hate speech dataset TweetBLM. Our dataset comprises 9165 manually annotated tweets that target the Black Lives Matter movement. We annotated the tweets into two classes, i.e., HATE and NONHATE based on their content related to racism erupted from the movement for the black community. In this work, we also generated useful statistical insights on our dataset and performed a systematic analysis of various machine learning models such as Random Forest, CNN, LSTM, BiLSTM, Fasttext, BERTbase, and BERTlarge for the classification task on our dataset. Through our work, we aim at contributing to the substantial efforts of the research community for the identification and mitigation of hate speech on the internet. The dataset is publicly available.

연구 동기 및 목표

• 블랙 라이브스 매터 운동의 맥락에서 흑인에 대한 혐오를 목표로 하는 전문화된 혐오 발언 데이터셋의 부족을 해결하기 위해.
• 블랙 라이브스 매터 관련 트윗에 대한 고품질 수작업 분류 데이터셋을 구축하기 위해.
• 이 새로운 데이터셋에서 다양한 기계학습 모델, 특히 BERT 및 FastText의 성능을 평가하기 위해.
• BLM 관련 혐오 발언에서 빈도가 높은 n-gram 및 해시태그와 같은 언어 패턴에 대한 통계적 통찰을 제공하기 위해.
• 사회 미디어에서 혐오 발언을 식별하고 완화하기 위한 더 나은 도구 개발을 지원하기 위해 연구 공동체를 지원하기 위해.

제안 방법

• 2020년 5월 27일부터 7월 26일까지 Tweepy와 Twitter API를 사용해 730만 건의 트윗을 수집하고, 영어로 작성된 트윗 및 150명 이상의 팔로워를 가진 사용자만을 선별하여 스팸을 줄였다.
• 운동 관련 트윗을 추출하기 위해 #BLM, #BlackLivesMatter 및 의미적 유사어를 포함한 키워드 기반 쿼리 세트를 구성했다.
• 수작업으로 9,165건의 트윗을 두 클래스로 분류: 'Hate'(흑인 공동체를 대상으로 하는 인종적 혐오 내용) 및 'Non-Hate'(혐오가 아닌 내용).
• 데이터셋 내 언어 패턴을 추출하기 위해 unigram 및 bigram, 해시태그에 대한 통계 분석을 수행했다.
• 80/20 훈련-테스트 분할을 사용해 여러 모델을 훈련하고 비교: 랜덤 포레스트, CNN, LSTM, BiLSTM, FastText, BERT-base 및 BERT-large.
• 모든 모델에서 검증 데이터를 기반으로 하이퍼파라미터를 최적화하고, 분류 교차 엔트로피 손실과 Adam 옵timizer를 사용했다.

실험 결과

연구 질문

• RQ1 최신 딥 러닝 모델들은 블랙 라이브스 매터 운동을 직접적으로 대상으로 하는 혐오 발언 탐지에 얼마나 효과적인가?
• RQ2 BLM 관련 혐오 발언에서 빈도가 높은 unigram, bigram 및 해시태그와 같은 언어 패턴은 무엇인가?
• RQ3 이 특화된 데이터셋에서 BERT 기반 모델의 성능은 랜덤 포레스트 및 CNN과 같은 전통적 모델보다 어떻게 비교되는가?
• RQ4 이 데이터셋의 품질과 특화된 성격은 혐오 발언 탐지 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ5 블랙 라이브스 매터 운동의 정점 기간 동안 사용자 생성 콘텐츠 내 혐오 발언의 통계적 특성은 무엇인가?

주요 결과

• BERT-large는 혐오 발언 분류에서 89.13%의 최고 정확도를 기록하여 다른 모든 모델을 뛰어넘었다.
• BERT-base는 87.45%의 정확도를 기록하여 맥락 기반 표현이 미묘한 혐오 발언을 이해하는 데 효과적임을 입증했다.
• FastText는 82.77%의 정확도를 기록하여 RNN 기반 모델을 능가했고, 서브워드 임베딩을 사용한 강력한 성능을 보였다.
• BiLSTM는 77.58%의 정확도를 기록하여 LSTM보다 1.37% 높았으며, 순서 모델링에서 이중 방향 맥락의 이점이 있음을 시사했다.
• CNN는 79.46%의 정확도를 기록하여 LSTM 및 랜덤 포레스트를 모두 능가했으며, 국소적인 텍스트 패턴을 효과적으로 포착함을 보였다.
• 랜덤 포레스트는 77.35%의 정확도를 기록하여 LSTM를 약간 앞서며 전통적인 트리 기반 모델의 기준 성능을 보였다.