[논문 리뷰] BD-SHS: A Benchmark Dataset for Learning to Detect Online Bangla Hate Speech in Different Social Contexts

Nauros Romim, Mosahed Ahmed외 4명|arXiv (Cornell University)|2022. 06. 01.

Hate Speech and Cyberbullying Detection인용 수 14

한 줄 요약

이 논문은 다양한 온라인 소셜 컨텍스트에서 수집한 50,200개의 방글라 싫어함 발언 댓글을 수작업로 레이블링한 대규모, 수작업 레이블링된 기준 데이터셋인 BD-SHS를 소개한다. 새로운 계층적 레이블링 프로세스와 147만 개의 소셜 미디어 댓글에서 미세조정한 단어 임베딩을 활용해, 최고의 모델이 F1 점수 91.0%를 기록하며, 방글라 싫어함 발언 탐지 분야에서 새로운 최고 성능을 달성하였다.

ABSTRACT

Social media platforms and online streaming services have spawned a new breed of Hate Speech (HS). Due to the massive amount of user-generated content on these sites, modern machine learning techniques are found to be feasible and cost-effective to tackle this problem. However, linguistically diverse datasets covering different social contexts in which offensive language is typically used are required to train generalizable models. In this paper, we identify the shortcomings of existing Bangla HS datasets and introduce a large manually labeled dataset BD-SHS that includes HS in different social contexts. The labeling criteria were prepared following a hierarchical annotation process, which is the first of its kind in Bangla HS to the best of our knowledge. The dataset includes more than 50,200 offensive comments crawled from online social networking sites and is at least 60% larger than any existing Bangla HS datasets. We present the benchmark result of our dataset by training different NLP models resulting in the best one achieving an F1-score of 91.0%. In our experiments, we found that a word embedding trained exclusively using 1.47 million comments from social media and streaming sites consistently resulted in better modeling of HS detection in comparison to other pre-trained embeddings. Our dataset and all accompanying codes is publicly available at github.com/naurosromim/hate-speech-dataset-for-Bengali-social-media

연구 동기 및 목표

• 언어학적으로 다양한 구성과 맥락을 반영한 방글라 싫어함 발언 데이터셋의 부족을 보완하기 위해.
• 방글라 싫어함 발언 탐지에서 더 나은 레이블링 일관성과 신뢰도를 확보하기 위한 계층적 레이블링 프레임워크를 개발하기 위해.
• 일반화 가능한 자연어처리 모델을 훈련하고 평가할 수 있도록 지원하는 대규모 공개 기준 데이터셋을 구축하기 위해.
• 소셜 미디어 텍스트에서 훈련된 도메인 특화 단어 임베딩이 싫어함 발언 탐지 성능 향상에 얼마나 효과적인지 조사하기 위해.

제안 방법

• BD-SHS 데이터셋은 온라인 소셜 네트워킹 및 스트리밍 플랫폼에서 50,200개 이상의 공격적 댓글을 크롤링하여 구축되었다.
• 레이블링 일관성과 주관성 감소를 위해 계층적 레이블링 프로세스를 도입하여 다단계 레이블링 단계를 거쳤다.
• 소셜 미디어 및 스트리밍 플랫폼의 방글라 댓글 147만 건에 전용으로 훈련된 단어 임베딩을 통해 맥락 기반 언어 패턴을 더 잘 포착하였다.
• 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용해 BD-SHS 데이터셋에서 여러 자연어처리 모델을 미세조정하고 평가하였다.
• 맞춤형 임베딩의 성능을 다른 사전 훈련된 임베딩과 비교하여, 싫어함 발언 탐지 작업에서 뛰어난 효과를 입증하였다.
• 모든 데이터셋과 코드는 재현 가능성과 저자원 자연어처리 분야에서의 추가 연구를 지원하기 위해 공개되었다.

실험 결과

연구 질문

• RQ1 싫어함 발언 데이터셋에 다양한 사회적 맥락을 포함시키면 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ2 평면적 레이블링 접근 방식에 비해 계층적 레이블링 프로세스는 방글라 싫어함 발언 데이터셋의 레이블링 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 소셜 미디어 텍스트에서 훈련된 도메인 특화 단어 임베딩이 일반 목적 사전 훈련된 임베딩보다 방글라 싫어함 발언 탐지에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 대규모이고 맥락적으로 다양한 방글라 싫어함 발언 기준 데이터셋에서 최첨단 자연어처리 모델의 성능 상한선은 어느 정도인가?
• RQ5 BD-SHS의 크기와 언어학적 다양성은 기존의 방글라 싫어함 발언 데이터셋에 비해 커버리지와 대표성 측면에서 어떻게 비교되는가?

주요 결과

• BD-SHS 데이터셋은 수작업 레이블링된 방글라 싫어함 발언 댓글이 50,200건 이상 포함되어 있으며, 이는 이전에 발표된 방글라 싫어함 발언 데이터셋보다 최소 60% 이상 크다.
• 최고 성능을 기록한 모델은 BD-SHS 기준에서 F1 점수 91.0%를 기록하여, 방글라 싫어함 발언 탐지 분야에서 새로운 최고 성능을 달성하였다.
• 소셜 미디어 및 스트리밍 플랫폼 댓글 147만 건에 전용으로 훈련된 단어 임베딩은 다른 사전 훈련된 임베딩보다 싫어함 발언 탐지 작업에서 뚜렷한 성능 향상을 보였다.
• 계층적 레이블링 프로세스는 방글라 싫어함 발언의 레이블링 모호성을 줄이고 레이블러 간 일致성 수준을 향상시키는 데 효과적이었다.
• 다양한 사회적 맥락을 포함한 데이터셋은 다양한 형태의 공격적 언어에 대한 모델의 강건성과 일반화 능력을 향상시켰다.
• 데이터셋과 코드의 공개는 재현 가능한 연구를 가능하게 하며, 방글라 저자원 자연어처리 분야의 진전을 가속화한다.