[논문 리뷰] Hate Speech Classifiers Learn Human-Like Social Stereotypes

Aida Mostafazadeh Davani, Mohammad Atari외 2명|arXiv (Cornell University)|2021. 10. 28.

Hate Speech and Cyberbullying Detection참고 문헌 37인용 수 4

한 줄 요약

이 연구는 혐오 발언 분류기가 인간과 유사한 사회적 스테레오 타입을 학습하고 이를 반복함으로써 차별적인 예측을 유도하며, 이는 소수자 집단에 비례적으로 더 큰 영향을 미친다는 것을 보여준다. 사회심리학(IAT)과 자연어처리(NLP)를 융합함으로써, 저자들은 애너테이터의 암묵적 편향과 언어에 내재된 스테레오 타입이 신경망 혐오 발언 검출기에서 체계적인 오류를 유발함을 입증하여, AI 모니터링 시스템에서의 체계적 불공정성의 핵심 원인을 드러낸다.

ABSTRACT

Social stereotypes negatively impact individuals' judgements about different groups and may have a critical role in how people understand language directed toward minority social groups. Here, we assess the role of social stereotypes in the automated detection of hateful language by examining the relation between individual annotator biases and erroneous classification of texts by hate speech classifiers. Specifically, in Study 1 we investigate the impact of novice annotators' stereotypes on their hate-speech-annotation behavior. In Study 2 we examine the effect of language-embedded stereotypes on expert annotators' aggregated judgements in a large annotated corpus. Finally, in Study 3 we demonstrate how language-embedded stereotypes are associated with systematic prediction errors in a neural-network hate speech classifier. Our results demonstrate that hate speech classifiers learn human-like biases which can further perpetuate social inequalities when propagated at scale. This framework, combining social psychological and computational linguistic methods, provides insights into additional sources of bias in hate speech moderation, informing ongoing debates regarding fairness in machine learning.

연구 동기 및 목표

• 개별 애너테이터의 암묵적 사회적 스테레오 타입이 그들의 혐오 발언 레이블링 행동에 어떻게 영향을 미치는지 조사하기 위해.
• 텍스트에 내재된 사회적 스테레오 타입이 전문 애너테이터 간의 상호 일치도에 영향을 미치는지 검토하기 위해.
• 사회적 스테레오 타입이 신경망 혐오 발언 분류기에서의 체계적 예측 오류에 어떤 영향을 미치는지 평가하기 위해.
• 데이터와 애너테이션 프로세스 내 인간과 유사한 편향이 AI 모델에 어떻게 내재되어 있으며, 사회적 불평등을 악화시키는지 규명하기 위해.

제안 방법

• 8개의 사회 집단 쌍(예: 흑인 대 백인, 레즈비언 대 异성애자)에 대한 암묵적 연관 테스트(IAT)를 시행하여 참가자의 암묵적 편향을 정량화하였다.
• 특정 사회 집단을 언급하는 다양한 소셜 미디어 게시물 코퍼스에 대해 124명의 애너테이터로부터 혐오 발언 레이블을 수집하였다.
• IAT 점수(암묵적 편향)와 특정 사회 집단을 언급하는 콘텐츠에 할당된 혐오 발언 레이블 수 사이의 관계를 분석하기 위해 다수준 포아송 회귀 모델을 적용하였다.
• 두 표본 치환 검정을 수행하여, 사회 집단 토큰이 포함된 경우와 포함되지 않은 경우, 그리고 혐오 발언이 있는 콘텐츠와 없는 콘텐츠 간의 애너테이터 간 일치도를 비교하였다.
• 이원 분산분석(ANOVA)을 수행하여 혐오 발언 레이블과 사회 집단 토큰 존재 여부가 일치도 점수에 미치는 상호작용 효과를 분석하였다.
• 신경망 혐오 발언 분류기를 훈련하고, 체계적 오류가 어떻게 언어 패턴과 집단 언급에 따라 발생하는지 분석하였다.

실험 결과

연구 질문

• RQ1 IAT로 측정된 애너테이터의 암묵적 편향은 특정 사회 집단을 언급하는 콘텐츠에 대해 그들이 할당하는 혐오 발언 레이블 수에 어떤 관련이 있는가?
• RQ2 텍스트에 사회 집단 언급이 포함될 경우, 전문 애너테이터 간의 상호 일치도는 어느 정도 증가하는가?
• RQ3 게시물에 혐오 발언 콘텐츠와 사회 집단 토큰이 동시에 존재할 경우, 애너테이터 간 일치도는 더 높아지거나 낮아지는가?
• RQ4 언어에 내재된 사회적 스테레오 타입은 신경망 혐오 발언 분류기에서의 체계적 오류에 어느 정도 기여하는가?

주요 결과

• 한 애너테이터의 특정 사회 집단에 대한 암묵적 편향 점수가 1점 상승할수록, 그 집단을 언급하는 콘텐츠에 할당되는 혐오 발언 레이블 수가 0.1% 증가한다 (β = 0.09, p < .01).
• 애너테이터 간 일치도는 혐오 발언으로 레이블이 지정된 게시물(M = 0.50)에서 비혐오 발언 게시물(M = 0.13)보다 유의미하게 높으며, p < .001이다.
• 사회 집단 토큰을 포함한 게시물은 포함하지 않은 게시물보다 유의미하게 더 높은 일치도를 보였다(M = 0.30 대비 M = 0.13), p < .001.
• 이원 분산분석 결과, 혐오 발언 존재 여부와 사회 집단 토큰 존재 여부가 모두 독립적으로 더 높은 일치도를 예측하는 것으로 나타났다(p < .001, 양측 모두).
• 신경망 혐오 발언 분류기는 언어 내 스테레오 타입과 일치하는 체계적 예측 오류를 보이며, 이는 모델이 인간과 유사한 사회적 편향을 학습하고 이를 강화함을 시사한다.
• 이 연구는 애너테이터 수준의 암묵적 편향과 언어에 내재된 스테레오 타입이 모두 불공정한 모델 행동의 원인이 되며, 사회적 불평등을 척도적으로 강화함을 확인하였다.