[논문 리뷰] Demoting Racial Bias in Hate Speech Detection

Mengzhou Xia, Anjalie Field외 1명|arXiv (Cornell University)|2020. 05. 25.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 모델 예측에서 아프리카계 미국인 영어(AAE) 특징에 대한 의존도를 낮추기 위해 적대적 훈련 방법을 제안한다. 독성 예측을 위해 훈련하면서 AAE에 대한 정보를 최소화하는 전용 적대자(adv)를 활용함으로써, AAE 텍스트의 거짓 양성률을 전체 분류 성능을 희생시키지 않고 2.2–3.2% 감소시킨다.

ABSTRACT

In current hate speech datasets, there exists a high correlation between annotators' perceptions of toxicity and signals of African American English (AAE). This bias in annotated training data and the tendency of machine learning models to amplify it cause AAE text to often be mislabeled as abusive/offensive/hate speech with a high false positive rate by current hate speech classifiers. In this paper, we use adversarial training to mitigate this bias, introducing a hate speech classifier that learns to detect toxic sentences while demoting confounds corresponding to AAE texts. Experimental results on a hate speech dataset and an AAE dataset suggest that our method is able to substantially reduce the false positive rate for AAE text while only minimally affecting the performance of hate speech classification.

연구 동기 및 목표

• 아프리카계 미국인 영어(AAE) 텍스트에서 높은 거짓 양성률을 해결하기 위해, 편향된 커뮤니티 애너테이션에 기인한 원인을 다루기 위함.
• 편향된 데이터셋으로 훈련된 기계 학습 모델이 AAE-독성 간의 비의도적인 상관관계를 악화시키는 것을 완화하기 위함.
• 혐오 발언 탐지 성능을 유지하면서도 모델이 어휘적 특징( dialect-related features)에 의존하는 것을 줄이는 방법을 개발하기 위함.
• 모델 훈련 중 보호받는 속성(예: AAE)을 저하시켜 NLP에서 공정성을 달성하고, 기회 평등 기준과 일치시키기 위함.
• 보호받는 속성이 불공정성을 초래할 수 있는 모든 작업에서 텍스트 분류기의 편향을 제거하는 일반화 가능한 프레임워크를 제공하기 위함.

제안 방법

• 모델은 세 부분으로 구성된 아키텍처를 사용한다: 양방향 LSTM 인코더와 어텐션, 이진 독성 분류기, 그리고 AAE 검출을 위한 전용 적대자 네트워크.
• 적대적 훈련을 통해 인코딩된 텍스트 표현에서 AAE에 대한 정보를 최소화함으로써, 분류기가 독성 신호에 더 집중하도록 유도한다.
• 훈련 목표는 독성 분류기의 표준 교차 엔트로피 손실과, 적대자가 인코딩된 표현에서 AAE를 정확히 예측하지 못하도록 하는 적대적 손실을 조합한다.
• AAE는 블로드젯 등(2016)의 인구 통계 정보를 통해 추론되거나, 펌타 등(2018)의 혐오 발언 데이터셋에서 자동으로 탐지된 데이터셋을 사용해 훈련한다.
• 표현에서 어휘적 정보가 점차 제거되고 있는지 확인하기 위해 적대자의 검증 정확도를 모니터링한다.
• 여러 개의 적대자를 평가했지만, 단일 적대자와 비교해 성능 향상이 없었으며, 이는 단일 속성 저하 설정에서는 다중 적대자가 불필요하다는 것을 시사한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 혐오 발언 탐지에서 아프리카계 미국인 영어(AAE) 특징에 대한 모델의 의존도를 효과적으로 줄일 수 있는가?
• RQ2 전체 혐오 발언 분류 성능을 떨어뜨리지 않고 AAE 텍스트의 거짓 양성률(FPR)은 어느 정도까지 감소시킬 수 있는가?
• RQ3 제안된 방법이 유의미한 편향 감소를 이룰 수 있을 뿐 아니라 분류기의 유용성도 유지하는가?
• RQ4 이 맥락에서 단일 적대자와 다중 적대자 간의 성능는 어떻게 비교되는가?
• RQ5 이 방법은 보호받는 속성이 불공정성을 초래할 수 있는 다른 텍스트 분류 작업으로 일반화 가능한가?

주요 결과

• 제안된 방법은 평가된 데이터셋에서 AAE 텍스트의 거짓 양성률(FPR)을 2.2–3.2%p 감소시켜, 비모욕적 AAE 콘텐츠의 오분류를 크게 줄였다.
• 훈련 과정에서 AAE 적대자의 검증 정확도가 DWMW17 기준 6–10점, FDCL18 기준 2–5점 감소하여 표현에서 어휘적 정보가 점차 제거됨을 확인했다.
• AAE 예측 정확도가 감소했음에도 불구하고 주된 독성 분류기는 높은 성능를 유지하여 핵심 작업의 유용성에 거의 영향을 주지 않았다.
• 다중 적대자를 사용해도 단일 적대자보다 성능 향상이 없었으며, 이는 이 단일 속성 저하 설정에서는 다중 적대자가 불필요하다는 것을 시사한다.
• 모델는 AAE에 대해 부분적으로 불변인 표현을 학습하여 편향을 줄이고 동시에 독성 예측 능력을 유지하는 데 성공했다.
• 이 방법은 보호받는 속성과 다양한 분류 작업에 걸쳐 NLP 모델의 편향을 제거하는 데 괄목할 만한 잠재력을 보였다.