[논문 리뷰] Nuanced Metrics for Measuring Unintended Bias with Real Data for Text Classification

Daniel Borkan, Lucas Dixon외 3명|arXiv (Cornell University)|2019. 03. 11.

Hate Speech and Cyberbullying Detection참고 문헌 12인용 수 4

한 줄 요약

이 논문은 ROC-AUC, Mann-Whitney U, Equality Gap 기반의 임계값에 의존하지 않는 메트릭스 세트를 소개하여 텍스트 분류 모델에서의 부의적 편향을 세밀하게 평가한다. 약 200만 건의 인간 레이블이 부여된 새로운 커뮤니티 기반 데이터셋을 활용해, 저자들은 짧은 댓글에서는 편향 완화 기법이 편향을 줄일 수 있지만, 더 긴 텍스트에서는 잔여 편향이 남아 있음을 입증하며 현재의 공정성 개선 조치의 한계를 드러낸다.

ABSTRACT

Unintended bias in Machine Learning can manifest as systemic differences in performance for different demographic groups, potentially compounding existing challenges to fairness in society at large. In this paper, we introduce a suite of threshold-agnostic metrics that provide a nuanced view of this unintended bias, by considering the various ways that a classifier's score distribution can vary across designated groups. We also introduce a large new test set of online comments with crowd-sourced annotations for identity references. We use this to show how our metrics can be used to find new and potentially subtle unintended bias in existing public models.

연구 동기 및 목표

• 텍스트 분류에서 부의적 편향을 측정하는 데 있어 임계값에 의존하는 메트릭스의 한계를 해결하기 위해.
• 다양한 인구 집단을 통해 나타나는 편향의 다양한 형태를 포괄적으로 포착하는 세밀한 평가 프레임워크를 개발하기 위해.
• 실세계의 편향 평가를 위해 신뢰할 수 있는 인구 집단 참조가 포함된 대규모, 인간 레이블이 부여된 온라인 댓글 데이터셋을 구축하고 공개하기 위해.
• 실제 데이터와 새로운 메트릭스를 활용해 공개된 독성 분류기에서 편향 완화의 효과를 평가하기 위해.
• 伝통적인 공정성 메트릭스에 의해 가려져 있던 숨겨진 또는 미세한 편향을 드러내기 위해.

제안 방법

• ROC-AUC, Mann-Whitney U, Equality Gap 기반의 다섯 가지 임계값에 의존하지 않는 메트릭스를 제안하여 다양한 정체성 집단 간의 모델 공정성 평가를 수행한다.
• 합성 테스트 세트와 약 200만 건의 댓글을 포함한 새로운 대규모 인간 레이블이 부여된 데이터셋을 활용해 모델 성능을 평가한다.
• 편향 완화 기능이 있는 모델과 없는 모델을 포함한 두 개의 공개된 Perspective API 모델을 대상으로 비교 분석을 수행한다.
• 특정 정체성 집단에 대해 독성 및 비독성 댓글의 점수 분포를 시각화하여 편향 패턴을 설명한다.
• 서브그룹 AUC, BPSN AUC, 음성 AEG를 사용해 다양한 인구 집단 간 모델 행동의 격차를 탐지한다.
• 짧은 댓글 대비 긴 댓글에서의 모델 행동을 비교함으로써 편향 완화의 영향을 분석한다, 특히 정체성 용어에 초점을 맞춰서.

실험 결과

연구 질문

• RQ1 임계값에 의존하지 않는 메트릭스는 임계값에 의존하는 메트릭스와 비교해 어떤 유형의 부의적 편향을 더 잘 드러내는가?
• RQ2 독성 분류기에서의 편향 완화는 다양한 인구 정체성 집단 간에 부의적 편향을 어느 정도 줄이는가?
• RQ3 기존의 완화 기법이 존재함에도 불구하고 실세계의 텍스트 분류 모델에서 지속되는 편향 패턴은 어떠한가?
• RQ4 댓글 길이가 독성 분류 모델에서의 부의적 편향의 나타나는 방식에 어떤 영향을 미치는가?
• RQ5 대규모, 정체성 레이블이 부여된 데이터셋은 텍스트 분류기에서 미세하고 세밀한 편향을 탐지하는 데에 얼마나 기여하는가?

주요 결과

• 편향 완화 기능이 있는 모델(TOXICITY@6)은 짧은 댓글에서 특히 'homosexual_gay_or_lesbian' 정체성 집단에 대해 서브그룹 AUC와 BPSN AUC에서 뚜렷한 향상을 보였다.
• 짧은 댓글에서는 원본 모델(TOXICITY@1)이 정체성 관련 용어에 대해 비독성 및 독성 점수 분포 간에 심각한 겹침을 보이며 높은 편향을 나타냈다.
• 완화 조치가 있음에도 불구하고, 특히 'black' 및 'asian'과 같은 집단은 추가적인 비독성 학습 데이터가 없었기 때문에 정체성 집단 간 메트릭스의 변동성이 여전히 높았다.
• 메트릭스 분석 결과, 편향 완화는 훈련 데이터 불균형이 가장 심한 짧은 댓글에서는 효과적이었지만, 더 긴 댓글에서는 덜 효과적이었다.
• 새로운 데이터셋을 통해 이전에는 드러나지 않았던 편향이 탐지되었으며, 이는 완화 조치가 댓글 길이나 정체성 집단 전반에 걸쳐 완전히 일반화되지 않았음을 시사한다.
• 시각화 결과, 완화 조치가 정체성 용어에 대한 비독성 점수를 왼쪽(낮은 점수)으로 이동시켜 독성 점수와의 겹침을 줄였으며, 특히 짧은 댓글에서 두드러졌다.