[논문 리뷰] Reading Between the Demographic Lines: Resolving Sources of Bias in Toxicity Classifiers

Elizabeth Reichert, Helen Qiu외 1명|arXiv (Cornell University)|2020. 06. 29.

Hate Speech and Cyberbullying Detection참고 문헌 12인용 수 4

한 줄 요약

이 논문은 오버샘플링, 언더샘플링 및 텍스트 생성을 통해 훈련 데이터를 재균형화하여 정체성 기반 편향을 줄이는 공정성 중심의 접근법을 제안한다. TF-IDF 및 GloVe 특징을 사용하여 재균형화된 데이터셋에서 로지스틱 회귀, 신경망 및 LSTM 모델을 훈련시켜 신뢰성 있는 정체성 관련 트윗에서 6.9%의 거짓 양성률을 달성했으며, 이는 Perspective API의 10.3%보다 유의미하게 낮다. 이는 성능을 희생시키지 않은 채 편향을 효과적으로 완화했음을 보여준다.

ABSTRACT

The censorship of toxic comments is often left to the judgment of imperfect models. Perspective API, a creation of Google technology incubator Jigsaw, is perhaps the most widely used toxicity classifier in industry; the model is employed by several online communities including The New York Times to identify and filter out toxic comments with the goal of preserving online safety. Unfortunately, Google's model tends to unfairly assign higher toxicity scores to comments containing words referring to the identities of commonly targeted groups (e.g., "woman,'' "gay,'' etc.) because these identities are frequently referenced in a disrespectful manner in the training data. As a result, comments generated by marginalized groups referencing their identities are often mistakenly censored. It is important to be cognizant of this unintended bias and strive to mitigate its effects. To address this issue, we have constructed several toxicity classifiers with the intention of reducing unintended bias while maintaining strong classification performance.

연구 동기 및 목표

• 소수자 그룹이 자신의 정체성을 언급할 때 그들이 비정상적으로 많이 경고되는 토스리시티 분류기의 뜻하지 않은 편향을 해결하기 위해.
• 높은 분류 성능를 유지하면서 자동 토스리시티 탐지의 공정성을 향상시키기 위해.
• 합성 예제를 사용한 데이터 재균형화가 정체성 관련 콘텐츠에 대한 거짓 양성률을 줄일 수 있는지 평가하기 위해.
• 재균형화된 데이터셋에서 훈련된 여러 모델(로지스틱 회귀, 신경망, LSTM)의 성능을 Perspective API와 비교하기 위해.
• 특히 소수자 정체성에 대해 일반화 능력에 영향을 미치는 훈련 데이터 구성의 영향을 분석하기 위해.

제안 방법

• 정체성 관련 댓글의 표현을 늘리기 위해 오버샘플링, 언더샘플링 및 재구성 기반 텍스트 생성을 적용하여 재균형화된 데이터셋을 구축하였다.
• TF-IDF 및 GloVe 임베딩을 입력 특징으로 사용하여 로지스틱 회귀, 피드포워드 신경망 및 LSTM 모델을 훈련시켰다.
• 클래스 균형을 이루기 위해 토스리시티 및 비토스리시티 예제를 포함한 정체성 용어를 다수 포함하는 데이터 증강 기법을 조합하여 사용하였다.
• 표준 평가 지표(AUC, F1, FPR, FNR)를 사용하여 훈련된 모델을 평가하고, 미국 하원의원들의 정체성 관련 트윗 테스트 세트에서의 성능을 비교하였다.
• 비교적 비정상적인 정체성 언급 트윗 1,984건의 데이터셋에서 최고 성능을 보인 모델을 Google의 Perspective API와 비교 평가하였다.
• 모델의 오분류 사례를 분석하여, 특히 소수자 정체성(예: 성적 지향, 종교)을 포함한 긍정적 정서의 트윗에서의 실패 원인을 규명하였다.

실험 결과

연구 질문

• RQ1 합성 예제를 사용한 데이터 재균형화가 토스리시티 분류기에서 정체성 관련 댓글의 거짓 양성률을 낮출 수 있는가?
• RQ2 재균형화된 데이터에서 훈련된 다양한 모델 아키텍처(로지스틱 회귀, 신경망, LSTM)의 성능는 어떻게 비교되는가?
• RQ3 Perspective API는 공정성 최적화 모델 대비 비정상적인 정체성 언급을 얼마나 과도하게 경고하는가?
• RQ4 훈련 데이터 내 정체성 용어의 다양성과 빈도는 모델 일반화 및 편향 완화에 어떤 역할을 하는가?
• RQ5 왜 모델은 긍정적 정서를 담은 정체성 언급 트윗을 정확히 분류하지 못하는가? 그리고 이를 어떻게 해결할 수 있는가?

주요 결과

• 두 층의 신경망 모델은 미국 하원의원의 정체성 관련 트윗에서 6.9%의 거짓 양성률을 기록했으며, 이는 Perspective API의 10.3%보다 33.9% 상대적으로 낮은 수준이다.
• 모델은 높은 분류 성능를 유지하였으며, 점진적인 데이터 재균형화 과정에서 AUC는 증가하고 F1 스코어는 안정된 상태를 유지하였다.
• 거짓 양성률(FPR)은 정체성 관련 토스리시티 댓글 수가 증가함에 따라 수렴하다가 다시 분리되었고, 거짓 음성률(FNR)은 크게 감소하였다.
• 모델는 Perspective API가 정확히 분류한 78건의 트윗을 잘못 분류했다—주로 성적 지향이나 종교와 같은 덜 흔한 정체성을 언급한 긍정적 정서의 메시지들이었다.
• 모델는 훈련 데이터에서 다루지 않은 정체성 용어, 특히 긍정적 맥락에서의 경우에 가장 어려움을 겪었으며, 텍스트 생성에도 불구하고 데이터 다양성이 부족했기 때문이다.
• 토스리시티 및 비토스리시티 정체성 댓글의 수를 동일하게 재균형화한 훈련 세트를 구성함으로써 공정성이 크게 향상되었고, 전체 성능은 저하되지 않았다.