[논문 리뷰] ETHOS: an Online Hate Speech Detection Dataset

Ioannis Mollas, Zoe Chrysopoulou외 2명|arXiv (Cornell University)|2020. 06. 11.

Hate Speech and Cyberbullying Detection참고 문헌 65인용 수 57

한 줄 요약

ETHOS는 능동 학습 주석 프로토콜과 크라우드소싱을 통해 생성된 작고 균형 잡힌 이진 및 다라벨 혐오 발언 데이터셋을 제시하며, DistilBERT/BERT가 최상의 성능을 보이는 강력한 기준선 결과를 보여준다.

ABSTRACT

Online hate speech is a recent problem in our society that is rising at a steady pace by leveraging the vulnerabilities of the corresponding regimes that characterise most social media platforms. This phenomenon is primarily fostered by offensive comments, either during user interaction or in the form of a posted multimedia context. Nowadays, giant corporations own platforms where millions of users log in every day, and protection from exposure to similar phenomena appears to be necessary in order to comply with the corresponding legislation and maintain a high level of service quality. A robust and reliable system for detecting and preventing the uploading of relevant content will have a significant impact on our digitally interconnected society. Several aspects of our daily lives are undeniably linked to our social profiles, making us vulnerable to abusive behaviours. As a result, the lack of accurate hate speech detection mechanisms would severely degrade the overall user experience, although its erroneous operation would pose many ethical concerns. In this paper, we present 'ETHOS', a textual dataset with two variants: binary and multi-label, based on YouTube and Reddit comments validated using the Figure-Eight crowdsourcing platform. Furthermore, we present the annotation protocol used to create this dataset: an active sampling procedure for balancing our data in relation to the various aspects defined. Our key assumption is that, even gaining a small amount of labelled data from such a time-consuming process, we can guarantee hate speech occurrences in the examined material.

연구 동기 및 목표

• 혜 혐오 발언 데이터셋의 희소성과 불균형 문제를 해결하기 위해 신중하게 주석된 균형 HS 데이터셋을 도입한다.
• 활발한 학습(active learning)과 crowdsourcing을 결합한 실용적 주석 프로토콜을 개발하여 신뢰할 수 있는 라벨을 생성한다.
• 이진 및 다라벨 HS 데이터셋(Ethos_Binary.csv 및 Ethos_Multi_Label.csv)과 기준 모델 평가를 제공한다.
• 상호 주석자 신뢰도와 데이터셋 품질을 평가하여 강건한 ML/HM 연구를 지원한다.
• 다라벨 의미론과 라벨 의존성 분석을 위한 데이터셋의 활용 가능성을 보여준다.

제안 방법

• 플랫폼 선택 및 데이터 수집, 데이터 예측, 수동 데이터 주석의 3단계 데이터 수집/주석 프로토콜을 제안한다.
• Hatebusters와 Reddit에서 수집된 데이터로, 초기 사전 학습된 SVM hatescore가 샘플링을 안내한다.
• 확장된 라벨링 데이터에 대해 그리드 튜닝된 분류기를 사용하여 예측 데이터를 생성하고 주석 대상 비레이블 데이터를 선택한다.
• 수동 주석은 능동 학습 불확실성 샘플링 및 최대 관련성 전략을 활용해 정보성 및 라벨 다양성의 균형을 맞춘다.
• Figure-Eight 크라우드소싱을 통한 다섯 명의 주석자와 신뢰도 측정을 위한 Fleiss’ kappa로 확인.
• 데이터셋 구성으로 Ethos_Binary.csv (998 comments, isHate) 및 Ethos_Multi_Label.csv (433 comments, 8 HS categories plus binary violence/directed_vs_generalized indicators).

실험 결과

연구 질문

• RQ1 클래스 간에 균형을 이루고 ML 모델에 informative 한 HS 데이터셋을 어떻게 생성할 수 있는가?
• RQ2 ETHOS를 사용한 이진 HS 탐지에서 전통 ML 및 신경망을 포함한 광범위한 모델의 성능은 어떠한가?
• RQ3 다라벨 HS 주석이 범주 의존성을 어떻게 포착하고 이진 표기와 비교해 탐지/해석을 개선하는가?
• RQ4 철저히 샘플링된 데이터셋에서 크라우드소싱으로 HS 라벨의 상호 주석자 신뢰도는 어떤가?
• RQ5 임베딩 기반 모델들(FT, GV, BERT 변형)이 ETHOS의 HS 탐지 작업에서 어떻게 비교되는가?

주요 결과

• 신경망 모델이 이진 HS 탐지에서 전통 ML 벤치마크를 능가하며 BiLSTM 및 CNN 기반 아키텍처가 높은 F1 및 재현율을 달성한다.
• 세밀하게 조정된 BERT와 DistilBERT가 가장 강한 전반적 성능을 내며, DistilBERT가 여러 지표에서 약간 더 우수하다.
• BiLSTM+FT+GV는 혐오 범주에 대해 높은 재현율을 달성하여 HS 사례를 강하게 탐지함을 시사한다.
• 데이터셋은 균형 잡힌 라벨 분포와 상당한 주석자 합의(Fleiss’ kappa 값이 HS 관련 라벨에 대해 0.75 이상)를 보여준다.
• ETHOS는 균형 잡힌 HS 데이터셋 생성을 위한 실용적이며 능동 학습 주도 프로토콜을 제공하여 중복 및 라벨 편향 같은 일반적인 문제를 해결한다.