[논문 리뷰] Annotators with Attitudes: How Annotator Beliefs And Identities Bias Toxic Language Detection

Maarten Sap, Swabha Swayamdipta외 4명|arXiv (Cornell University)|2021. 11. 15.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 평가자 신원과 신념—특히 정치적 보수성과 인종주의적 신념—이 독성 언어 탐지에 어떻게 편향을 유도하는지 조사한다. 다양한 참가자를 대상으로 한 두 개의 온라인 연구를 통해 보수적이고 인종적으로 편향된 평가자는 반-블랙 언어를 독성으로 평가할 가능성이 낮지만, 아프리카계 미국인 영어(AAE)를 독성으로 평가할 가능성이 더 높다는 점을 입증한다. 이는 레이블링 과정에서 체계적인 주관성이 존재함을 보여주며, 흔히 사용되는 시스템인 PerspectiveAPI 역시 이러한 평가자 편향을 반영함으로써 자동 탐지의 공정성을 해친다.

ABSTRACT

The perceived toxicity of language can vary based on someone's identity and beliefs, but this variation is often ignored when collecting toxic language datasets, resulting in dataset and model biases. We seek to understand the who, why, and what behind biases in toxicity annotations. In two online studies with demographically and politically diverse participants, we investigate the effect of annotator identities (who) and beliefs (why), drawing from social psychology research about hate speech, free speech, racist beliefs, political leaning, and more. We disentangle what is annotated as toxic by considering posts with three characteristics: anti-Black language, African American English (AAE) dialect, and vulgarity. Our results show strong associations between annotator identity and beliefs and their ratings of toxicity. Notably, more conservative annotators and those who scored highly on our scale for racist beliefs were less likely to rate anti-Black language as toxic, but more likely to rate AAE as toxic. We additionally present a case study illustrating how a popular toxicity detection system's ratings inherently reflect only specific beliefs and perspectives. Our findings call for contextualizing toxicity labels in social variables, which raises immense implications for toxic language annotation and detection.

연구 동기 및 목표

• 언어 주석화에서 평가자 신원과 신념이 독성 평가에 어떻게 영향을 미치는지 조사하기.
• 정치적 성향, 인종적 편견, 언어적 배경이 텍스트의 모욕성과 인종주의성에 대한 인식에 어떻게 영향을 미치는지 분석하기.
• PerspectiveAPI와 같은 인기 있는 독성 탐지 시스템이 특정 평가자 집단의 편향을 반영하는지 평가하기.
• NLP 데이터셋과 모델에서 객관적이고 보편적인 독성 레이블이라는 가정을 도전하기.
• 독성 주석화를 사회적·인구통계적 변수의 맥락 안에서 고려할 것을 주장하기.

제안 방법

• 다양한 인구통계학적·정치적 배경을 가진 참가자를 대상으로 한 두 개의 온라인 연구를 수행하여 15개의 정제된 게시물과 약 600개의 게시물에 대한 독성 평가를 수집함.
• 검증된 심리학적 척도를 사용하여 평가자 신원(인종, 성별, 정치 성향)과 태도(인종주의적 신념, 표현의 자유에 대한 시각, 전통주의)를 측정함.
• 개인적 변동성을 통제한 선형 혼합 효과 모델을 사용하여 평가자 특성과 독성 평가 간의 관계를 분석함.
• PerspectiveAPI 점수와 평가자 평가 간의 피어슨 상관관계를 계산한 후, 고점수 및 저점수 평가자 집단 간 유의성 차이를 검증하기 위해 피어슨의 r-to-z 변환을 적용함.
• 독성 평가의 편향 원인을 분리하기 위해 세 가지 텍스트 유형을 분석함: 반-블랙 언어, 아프리카계 미국인 영어(AAE), 비속어.
• 유의미성과 강건성을 평가하기 위해 효과 크기(Cohen’s d, 피어슨 r)와 p-값에 하름 보정을 적용함.

실험 결과

연구 질문

• RQ1 평가자 신원(예: 인종, 성별, 정치 성향)이 텍스트의 독성 평가에 어떻게 영향을 미치는가?
• RQ2 평가자 신념—특히 인종주의적 신념과 표현의 자유에 대한 시각—은 모욕성과 인종주의성에 대한 인식에 어떻게 영향을 미치는가?
• RQ3 다른 텍스트 특성(반-블랙 언어, AAE, 비속어)은 평가자 신원과 신념에 따라 어떻게 다를 수 있는 독성 평가를 유도하는가?
• RQ4 기존의 자동 독성 탐지 시스템인 PerspectiveAPI는 특정 평가자 집단의 편향을 얼마나 잘 반영하는가?
• RQ5 집계된 독성 레이블은 독성 인식의 주관성과 사회적 맥락을 어떻게 가리키는가?

주요 결과

• 보수적 평가자는 반-블랙 언어를 독성으로 평가할 가능성이 유의미하게 낮았으며, 효과 크기는 d = 0.34에서 d = 0.58 사이로 나타났다(p < 0.001).
• 인종주의적 신념 척도 점수가 높은 평가자는 반-블랙 콘텐츠를 독성으로 평가할 가능성이 낮았다(r = -0.21, p < 0.001), 강한 음의 상관관계를 보였다.
• 보수적이고 전통주의적 평가자는 진보적 또는 자유주의적 평가자보다 AAE를 유의미하게 더 독성으로 평가했다(d = 0.41, p < 0.001).
• 인종주의적 신념 점수가 높은 평가자는 AAE를 더 높은 비율로 인종주의적 언어로 평가했다(r = 0.23, p < 0.001), 이는 어조를 악의로 오해하는 경향을 시사한다.
• 비속어는 보수적이고 전통주의적인 평가자에 의해 더 모욕적으로 평가되었다(d = 0.38, p < 0.001), 그러나 인종이나 성별과는 관련이 없었다.
• PerspectiveAPI 점수는 인종주의적 신념이 높은 평가자 집단의 반-블랙 콘텐츠 평가와 강하게 상관관계가 있었다(r = 0.31, p < 0.001), 이는 모델이 이러한 편향을 반영하고 있음을 시사한다.