[논문 리뷰] Automated Ableism: An Exploration of Explicit Disability Biases in Sentiment and Toxicity Analysis Models

Pranav Narayanan Venkit, Mukund Srinath외 1명|arXiv (Cornell University)|2023. 07. 18.

Hate Speech and Cyberbullying DetectionComputer Science인용 수 3

한 줄 요약

이 논문은 감성 및 독성 분석 모델에서 명시적 장애 편향을 탐지하기 위해 감성 내 장애 편향 식별 테스트(BITS) 코퍼스를 소개한다. 소셜 미디어 데이터에 대한 변형 민감도 분석을 통해, 여섯 개인 AIaaS 모델 전반에 걸쳐 장애 관련 용어에 대해 통계적으로 유의미한 부정적 감성 점수가 드러나며, 널리 사용되는 NLP 도구들에서 광범위하게 퍼져 있는 자동화된 능력주의가 입증된다.

ABSTRACT

We analyze sentiment analysis and toxicity detection models to detect the presence of explicit bias against people with disability (PWD). We employ the bias identification framework of Perturbation Sensitivity Analysis to examine conversations related to PWD on social media platforms, specifically Twitter and Reddit, in order to gain insight into how disability bias is disseminated in real-world social settings. We then create the extit{Bias Identification Test in Sentiment} (BITS) corpus to quantify explicit disability bias in any sentiment analysis and toxicity detection models. Our study utilizes BITS to uncover significant biases in four open AIaaS (AI as a Service) sentiment analysis tools, namely TextBlob, VADER, Google Cloud Natural Language API, DistilBERT and two toxicity detection models, namely two versions of Toxic-BERT. Our findings indicate that all of these models exhibit statistically significant explicit bias against PWD.

연구 동기 및 목표

• 널리 사용되는 AIaaS 감성 및 독성 분석 모델에 명시적 장애 편향이 존재하는지 조사하기.
• 감성 분석 시스템의 장애 편향을 정량화하기 위한 모델 독립 테스트 프레임워크 개발하기.
• 실제 소셜 미디어 대화인 트위터와 레딧의 대화를 분석하여 NLP 모델이 장애 관련 언어를 어떻게 잘못 분류하는지 이해하기.
• 장애 관련 용어가 단지 존재할 뿐이더라도, 맥락과는 무관하게 부정적 감성 점수가 부여된다는 것을 입증하기.
• 온라인 공간에서 NLP 도구의 자동화된 편향이 장애가 있는 사람들을 어떻게 해칠 수 있는지에 대한 인식 제고하기.

제안 방법

• 중립 문장 템플릿에 장애 관련 용어를 삽입했을 때 감성 점수가 어떻게 변화하는지 평가하기 위해 변형 민감도 분석(PSA)을 활용하기.
• 장애가 있는 사람(PWD), 특정 장애가 있는 사람(PWD:SD), 비장애인(PWoD)을 위한 용어를 사용하여 템플릿 기반 변형을 통해 BITS 코퍼스를 구축하기.
• 감성 분석 모델 네 종류—TextBlob, VADER, Google Cloud Natural Language API, DistilBERT—와 독성 탐지 모델 두 종류—Toxic-BERT(기본 및 비편향 버전)—을 사용하여 평가하기.
• 편향을 정량화하기 위해 세 가지 핵심 지표인 ScoreSense(감성 점수 변화), LabelDistance(감성 이동의 크기), ScoreDev(변형된 점수의 표준편차)를 계산하기.
• 관측된 감성 이동의 통계적 유의성을 평가하기 위해 t-검정을 적용하며, p-값은 편향의 심각도를 나타낸다.
• 향후 NLP 모델의 장애 편향 연구를 가능하게 하기 위해 BITS 코퍼스를 공개하기.

Figure 1: Sentiment score achieved by disability group for all the models in form of a heatmap.

실험 결과

연구 질문

• RQ1 널리 사용되는 AIaaS 감성 및 독성 분석 모델이 장애가 있는 사람들을 향해 명시적인 편향을 보이는가?
• RQ2 중립 문장에 장애 관련 용어가 삽입되었을 때 감성 점수가 어떻게 변화하는가? 이 변화는 통계적으로 유의미한가?
• RQ3 다양한 AIaaS 모델이 의미적 편향에 의해 맥락적 의미가 아닌, 장애 관련 언어를 얼마나 잘못 분류하는가?
• RQ4 BITS와 같은 표준화되고 모델 독립적인 테스트가 감성 및 독성 모델의 장애 편향을 신뢰성 있게 탐지하고 정량화할 수 있는가?
• RQ5 이러한 편향이 온라인 콘텐츠 모니터링 및 감성 분석 시스템에서 실질적인 영향을 미치는가?

주요 결과

• 평가된 여섯 개인 AIaaS 모델—TextBlob, VADER, Google Cloud Natural Language API, DistilBERT, 그리고 Toxic-BERT의 두 가지 버전—모두 장애가 있는 사람들을 향한 통계적으로 유의미한 명시적 편향을 보였다.
• TextBlob는 '내 이웃은 실명한 사람이다'라는 문장에 대해 -0.50의 부정적 감성 점수를 부여하여 강력한 능력주의 편향을 보였다.
• VADER는 'PWD:C' 용어에 대해 -0.25**의 상당한 감성 이동을 보였고, 'PWD:SD' 용어에 대해서는 -0.05**의 이동을 보여, 체계적인 부정적 점수 부여가 이루어졌음을 시사했다.
• 두 Toxic-BERT 모델 모두 LabelDistance 값이 0.8를 초과하여, 장애 관련 용어로 인한 감성 극성 이동의 정도가 매우 높음을 드러냈다.
• Toxic-BERT 모델의 ScoreDev 값은 각각 0.05와 0.09였으며, 이는 점수의 일관성이 낮음을 의미하며, 추가로 불안정성과 편향을 증명하는 데 기여했다.
• 본 연구는 장애 관련 용어가 단지 존재할 뿐이더라도 맥락과는 무관하게 부정적 감성 또는 독성 분류가 이루어지며, 이는 장애가 있는 사람들의 잘못된 표현을 초래함을 확인했다.