[논문 리뷰] HS-BAN: A Benchmark Dataset of Social Media Comments for Hate Speech Detection in Bangla

Nauros Romim, Mosahed Ahmed외 4명|arXiv (Cornell University)|2021. 12. 03.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 50,000개 이상의 다양한 분야에서 온 소셜미디어 댓글을 포함하는, 벵골어 혐오 발언 탐지 분야에서 가장 큰 공개 가능한 기준 데이터셋인 HS-BAN을 소개한다. 엄격한 표준화된 표시 프로토콜과 비공식 텍스트로 훈련된 FastText 임베딩을 사용하여, Bi-LSTM 모델이 86.78%의 F1 스코어를 기록하였으며, 이는 비공식 어휘 임베딩이 공식 어휘 임베딩보다 우수하며, 전통적 슬랭이 비전통적 슬랭보다 탐지 정확도를 높이는 데 기여함을 시사한다.

ABSTRACT

In this paper, we present HS-BAN, a binary class hate speech (HS) dataset in Bangla language consisting of more than 50,000 labeled comments, including 40.17% hate and rest are non hate speech. While preparing the dataset a strict and detailed annotation guideline was followed to reduce human annotation bias. The HS dataset was also preprocessed linguistically to extract different types of slang currently people write using symbols, acronyms, or alternative spellings. These slang words were further categorized into traditional and non-traditional slang lists and included in the results of this paper. We explored traditional linguistic features and neural network-based methods to develop a benchmark system for hate speech detection for the Bangla language. Our experimental results show that existing word embedding models trained with informal texts perform better than those trained with formal text. Our benchmark shows that a Bi-LSTM model on top of the FastText informal word embedding achieved 86.78% F1-score. We will make the dataset available for public use.

연구 동기 및 목표

• NLP 연구를 위한 대규모, 다양한, 언어학적으로 대표적인 벵골어 혐오 발언 데이터셋 부족 문제를 해결하기 위해.
• 다수의 표시자 지침과 다수결 투표 및 표시자 간 일致도 측정을 통해 표시 편향을 줄이기 위해.
• 노이즈가 많고 슬랭이 풍부한 소셜미디어 텍스트에서 훈련된 단어 임베딩을 활용하여, 비공식 벵골어에서 혐오 발언 탐지 성능을 향상시키기 위해.
• 전통적 슬랭과 비전통적 슬랭의 영향이 혐오 발언 분류 모델 성능에 미치는 영향을 평가하기 위해.
• 공개된 데이터셋과 코드를 통해 향후 저자원 언어 혐오 발언 탐지 연구를 위한 기준을 설정하기 위해.

제안 방법

• 2017~2020년 사이에 페이스북과 유튜브에서 다양한 주제의 논란이 있는 게시물들로부터 7개 분야(스포츠, 엔터테인먼트, 범죄, 정치, 종교, 셀럽, 잡다)에서 Facepager를 사용해 댓글을 수집하였다.
• 페이스북과 유튜브 커뮤니티 기준을 바탕으로 한 상세한 표시 지침을 사용하였으며, 각 댓글은 50명의 표시자가 평가하였고, 최종 레이블은 편향을 줄이기 위해 다수결 투표 방식으로 결정되었다.
• 표시자 간 일치도는 0.658(kappa)로 중간 정도의 일치를 보였으며, 데이터는 중복 제거(Jaccard > 0.8) 및 비벵골어 콘텐츠 제거를 통해 사전 처리되었다.
• 언어학 전문가가 수작업으로 슬랭어를 전통적 슬랭(TS)과 비전통적 슬랭(NTS)으로 분류하여 모델 성능에 미치는 영향을 분석하였다.
• Bi-LSTM, CNN, SVM, BERT 변형 모델 등 여러 모델을 훈련하였으며, 공식 및 비공식 단어 임베딩(FastText, Word2Vec)을 사용하여 성능을 비교하였다.
• 가장 높은 성능을 기록한 모델은 비공식 텍스트에서 훈련된 FastText 스킵그램(SG) 임베딩을 사용한 Bi-LSTM로, F1 스코어 86.85%를 기록하여 공식 임베딩 및 BERT 모델을 모두 앞섰다.

실험 결과

연구 질문

• RQ1 벵골어에서 비공식 텍스트 임베딩과 공식 텍스트 임베딩을 사용할 경우 혐오 발언 탐지 모델의 성능은 어떻게 달라지나?
• RQ2 전통적 슬랭어와 비전통적 슬랭어가 혐오 발언 분류 모델의 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 다양한 도메인에서의 데이터셋 다양성이 모델의 일반화 능력과 성능에 어떻게 영향을 미치는가?
• RQ4 BERT 기반 모델이 비공식 벵골어 소셜미디어 텍스트에서는 순차 모델에 비해 성능이 열 劣하는 이유는 무엇인가?
• RQ5 데이터 샘플링을 통한 클래스 불균형 감소가 저자원 혐오 발언 카테고리의 탐지 성능 향상에 기여할 수 있는가?

주요 결과

• HS-BAN 데이터셋은 총 50,314개의 벵골어 댓글을 포함하며, 그 중 40.17%는 혐오 발언으로 분류되고 59.83%는 비혐오 발언으로 분류되어, 현재까지 공개된 가장 큰 벵골어 혐오 발언 벤치마크이다.
• 비공식 텍스트에서 훈련된 FastText 단어 임베딩을 미세조정한 Bi-LSTM 모델이 가장 높은 F1 스코어 86.85%를 기록하였으며, 이는 공식 임베딩 및 BERT 변형 모델을 모두 앞섰다.
• 비공식 텍스트에서 훈련된 단어 임베딩(FastText SG)이 공식 텍스트(예: 위키백과)에서 훈련된 것보다 유의미하게 뛰어나, 저자원 NLP 작업에서 비공식 훈련이 필요함을 뒷받침한다.
• 전통적 슬랭(TS)을 포함한 댓글에서의 성능이 비전통적 슬랭(NTS)을 포함한 경우보다 높았으며, NTS 단어는 더 큰 모호성을 유발하여 탐지 정확도를 떨어뜨렸다.
• 최고의 모델(Bi-LSTM+FT(SG))은 전체 데이터셋에서 F1 스코어 86.78%를 기록하였으며, 카테고리별 성능 범위는 엔터테인먼트(78.84%)에서부터 범죄(92.27%)까지 다양했다.
• 혐오 및 비혐오 샘플의 수를 동일하게 맞추기 위해 훈련 데이터를 균형 조정한 결과, 정치 및 셀럽 카테고리에서 F1 스코어가 가장 크게 향상되었으며, 이는 자원 부족과 클래스 불균형이 성능 저하의 주요 원인임을 시사한다.