[논문 리뷰] An Information Retrieval Approach to Building Datasets for Hate Speech Detection

Md Mustafizur Rahman, Dinesh Balakrishnan외 3명|arXiv (Cornell University)|2021. 06. 17.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 키워드 매칭의 한계를 넘어 희귀하고 다양한 형태의 혐오 발언을 효율적으로 식별하고 주석을 달기 위해 풀링과 능동 학습을 활용한 정보 검색(IR)-기반 접근법을 제안한다. 주요 기여는 기존 모델이 이 새로운 더 현실적인 분포에서 성능이著しく 떨어지는 것을 드러내는 더 광범위하고 대표성을 갖춘 혐오 발언 데이터셋을 새로이 구축한 데 있다.

ABSTRACT

Building a benchmark dataset for hate speech detection presents various challenges. Firstly, because hate speech is relatively rare, random sampling of tweets to annotate is very inefficient in finding hate speech. To address this, prior datasets often include only tweets matching known "hate words". However, restricting data to a pre-defined vocabulary may exclude portions of the real-world phenomenon we seek to model. A second challenge is that definitions of hate speech tend to be highly varying and subjective. Annotators having diverse prior notions of hate speech may not only disagree with one another but also struggle to conform to specified labeling guidelines. Our key insight is that the rarity and subjectivity of hate speech are akin to that of relevance in information retrieval (IR). This connection suggests that well-established methodologies for creating IR test collections can be usefully applied to create better benchmark datasets for hate speech. To intelligently and efficiently select which tweets to annotate, we apply standard IR techniques of {\\em pooling} and {\\em active learning}. To improve both consistency and value of annotations, we apply {\\em task decomposition} and {\\em annotator rationale} techniques. We share a new benchmark dataset for hate speech detection on Twitter that provides broader coverage of hate than prior datasets. We also show a dramatic drop in accuracy of existing detection models when tested on these broader forms of hate. Annotator rationales we collect not only justify labeling decisions but also enable future work opportunities for dual-supervision and/or explanation generation in modeling. Further details of our approach can be found in the supplementary materials.

연구 동기 및 목표

• 사전 정의된 '혐오어'에 의존하는 기존 혐오 발언 데이터셋의 한계를 해결하고, 표본 추출 편향과 좁은 커버리지 문제를 해결한다.
• 무작위 표본 추출의 비효율성을 극복하기 위해 IR 기법을 활용해 혐오성일 가능성이 높은 트윗을 우선순위로 지정한다.
• 작업 분해와 근거 수집을 통해 주석 일관성과 해석 가능성 향상.
• 키워드 필터에서 포착되지 않는 형태를 포함해 실제 세계의 혐오 발언의 진정한 다양성과 복잡성을 반영한 벤치마크 데이터셋 구축.
• 최신 혐오 발언 탐지 모델이 이 광범위하고 더 현실적인 데이터셋에서 성능이著しく 떨어지는 것으로 나타나, 향상된 훈련 데이터의 필요성을 입증한다.

제안 방법

• 다양한 혐오 발언 탐지 모델들로부터 상위 랭크된 트윗을 풀링 기법을 통해 집계하여 희귀하고 복잡한 혐오 발언 형태의 커버리지 확보.
• 단일 모델을 사용한 능동 학습을 통해 반복적으로 정보량이 많은 트윗을 주석 처리 대상으로 선정하여 주석 예산 최적화 및 모델 일반화 향상.
• 주석 작업을 하위 작업들(예: 혐오 발언 식별, 대상 집단 식별)으로 분해하여 주석자 일관성 향상.
• 주석 결정의 근거를 수집하여 향후 설명 생성 및 이중 감독 학습 기반 모델링을 위한 기반 마련.
• 코퍼스 구축 단계와 최종 주석 추출 단계에서 두 번의 무작위 표본 추출을 통합하여 선택 편향 감소.
• 풀링을 위한 초기 모델 훈련에 기존 혐오 발언 데이터셋을 활용하지만, 이들의 편향이 전파될 수 있음을 인지한다.

실험 결과

연구 질문

• RQ1 풀링과 능동 학습과 같은 IR 기법이 혐오 발언 데이터셋 제작의 효율성과 커버리지 향상에 효과적으로 적용될 수 있는가?
• RQ2 키워드 기반 외의 혐오 발언 형태의 포함 여부가 기존 혐오 발언 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ3 주석자 근거와 작업 분해가 주석 일관성과 모델의 해석 가능성에 어느 정도 기여하는가?
• RQ4 제안된 데이터셋의 혐오 발언 분포가 이전의 벤치마크 데이터셋과 비교해 다양성과 현실성 측면에서 어떻게 다른가?
• RQ5 데이터셋 편향(예: 주제적, 인구 통계적)은 훈련된 혐오 발언 탐지 모델의 일반화 능력과 공정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 데이터셋은 이전 데이터셋에 비해 훨씬 광범위한 혐오 발언 형태를 포괄하며, 키워드 매칭만으로는 탐지되지 않는 표현도 포함한다.
• 기존 혐오 발언 탐지 모델은 새로운 데이터셋에서 정확도가 급격히 떨어지는 것으로 나타나, 이전 모델이 좁은 키워드 기반 분포에 과적합되어 있음을 시사한다.
• 다양한 모델들 간의 풀링을 통해 희귀하고 복잡한 혐오 발언의 포착 가능성이 높아져 진짜 양성 사례를 놓치는 위험 감소.
• 과정 중 수집된 주석자 근거는 주석 결정의 타당성을 뒷받침하며, 향후 설명 기반 모델링을 위한 새로운 길을 열어준다.
• 편향 감소 노력에도 불구하고, 풀링 단계에서 사용된 초기 모델과 기반 훈련 데이터에서 유래한 편향이 여전히 존재할 수 있으며, 특히 주제적 및 인구 통계적 표현 측면에서 문제가 될 수 있다.
• 이 연구는 데이터셋 설계가 혐오 발언 탐지에서 모델 설계만큼 중요하다는 것을 입증하며, 잘못된 데이터로 인해 실세계 적용에서 모델 성능과 공정성이 심각하게 제한될 수 있음을 시사한다.