[논문 리뷰] Challenges in Automated Debiasing for Toxic Language Detection

Xuhui Zhou, Maarten Sap외 3명|arXiv (Cornell University)|2021. 01. 29.

Hate Speech and Cyberbullying Detection참고 문헌 42인용 수 12

한 줄 요약

이 논문은 독성 언어 탐지에서 어휘적 및 방언적(아프리카계 미국어) 편향에 대한 자동화된 편향 제거 방법의 효과성을 조사한다. 여러 편향 제거 기법을 테스트했음에도 불구하고 저자들은 이들이 편향을 줄이는데 거의 효과가 없음을 발견한다. 반면, 합성 방언 번역을 이용한 데이터 재라벨링은 방언적 및 인종적 편향을 모두 효과적으로 완화하는 데 훨씬 더 유용하다.

ABSTRACT

Biased associations have been a challenge in the development of classifiers for detecting toxic language, hindering both fairness and accuracy. As potential solutions, we investigate recently introduced debiasing methods for text classification datasets and models, as applied to toxic language detection. Our focus is on lexical (e.g., swear words, slurs, identity mentions) and dialectal markers (specifically African American English). Our comprehensive experiments establish that existing methods are limited in their ability to prevent biased behavior in current toxicity detectors. We then propose an automatic, dialect-aware data correction method, as a proof-of-concept. Despite the use of synthetic labels, this method reduces dialectal associations with toxicity. Overall, our findings show that debiasing a model trained on biased toxic language data is not as effective as simply relabeling the data to remove existing biases.

연구 동기 및 목표

• 기존의 자동화된 편향 제거 방법이 독성 언어 탐지 모델의 어휘적 및 방언적 편향을 효과적으로 줄일 수 있는지 평가하는 것.
• 특히 아프리카계 미국어(AAE) 표시어와 관련하여, 본질적으로 편향된 데이터셋에서 학습된 모델에서 지속적인 편향이 발생하는 근본 원인을 조사하는 것.
• 합성 데이터를 이용한 방언 번역을 통한 재라벨링이 기존의 편향 제거 기법보다 편향을 줄이는 데 더 효과적인지 탐색하는 것.
• 편향이 단순한 데이터셋 아티팩트가 아니라 사회적 및 언어적 권력 관계에서 기인하는 독성 언어 탐지 맥락에서 현재의 편향 제거 접근법의 한계를 부각하는 것.
• 후행적 모델 편향 제거보다 전문가 기반 라벨링과 방언 인지형 애너테이션을 통한 데이터 품질 향상을 주장하는 것.

제안 방법

• Founta 등(2018)의 독성 언어 탐지 데이터셋에 기존의 편향 제거 방법—특히, 편향 없는 훈련(Clark 등, 2019)과 편향 가능성 기반 데이터 필터링—을 적용하였다.
• 소수 샘플 GPT-3 기반의 방언 번역 시스템을 사용하여 아프리카계 미국어(AAE) 발언을 의미를 유지하면서 메인스트림 미국 영어(MAE)로 합성 번역하였다.
• AAE 버전이 독성으로 분류되었지만 MAE 번역 버전은 그렇지 않은 경우의 훈련 인스턴스를 재라벨링하여, 합성된 방언 인지형 훈련 세트를 생성하였다.
• 기존 편향된 데이터셋과 재라벨링된 합성 데이터셋 양쪽 모두에 대해 독성 분류기를 훈련하고, 성능 및 공정성 메트릭을 비교하였다.
• AAE로 식별된 트윗에서의 오답 양성률(FPR) 및 인종 정체성 집단 간 독성 플래그링 격차와 같은 공정성 메트릭을 사용해 편향 감소를 측정하였다.
• 골드 표준 애너테이션의 라벨 편향을 고려하면서 표준 테스트 세트에서 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 기존의 자동화된 편향 제거 방법이 독성 언어 탐지 모델의 어휘적 및 방언적 편향을 효과적으로 줄일 수 있는가?
• RQ2 편향 제거 기법은 아프리카계 미국어(AAE) 어조에 대해 독성 플래그링에서 인종적 격차를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 방언 번역을 기반으로 한 합성 데이터 재라벨링이 기존의 편향 제거 기법에 비해 방언적 및 인종적 편향을 어느 정도 줄일 수 있는가?
• RQ4 현재의 편향 제거 접근법이 사회적 및 언어적 불평등에서 기인하는 편향을 완전히 제거하지 못하는 이유는 무엇인가?
• RQ5 데이터 품질—특히 발화자 정체성과 방언 표현—은 독성 탐지 시스템의 편향 감소에 어떤 역할을 하는가?

주요 결과

• 편향 없는 훈련과 데이터 필터링을 포함한 기존의 자동화된 편향 제거 방법은 독성 언어 탐지 모델의 어휘적 및 방언적 편향을 줄이는 데 제한된 효과를 보였다.
• 필터링되거나 편향 없는 방식으로 훈련된 모델들 역시 아프리카계 미국어(AAE) 표시어를 메인스트림 미국 영어(MAE) 변형보다 더 높은 비율로 독성으로 분류하는 등 여전히 심각한 편향을 보였다.
• 방언 인지형 합성 재라벨링 방법은 다른 편향 제거 기법에 비해 AAE 트윗에서의 오답 양성률(FPR)을 한 포인트 감소시켜 공정성 향상을 나타냈다.
• AAE로 재라벨링된 데이터로 훈련된 모델은 모든 다른 편향 제거 및 베이스라인 모델보다 독성 플래그링 비율에서 가장 낮은 인종 격차를 보였다.
• F1 스코어가 약간 감소(한 포인트)했음에도 불구하고, AAE로 재라벨링된 모델는 공정성과 성능 사이의 최적 균형을 달성하여, 데이터 품질이 모델 수준의 편향 제거보다 더 큰 영향을 미친다는 것을 시사한다.
• 연구는 GPT-3를 실제 방언 번역에 사용할 경우 생성된 출력에 독성이 포함될 수 있고, 사전 훈련 과정에서 AAE에 노출되지 않았기 때문에 주의를 기울일 것을 경고한다.