[논문 리뷰] Evaluating Bias In Dutch Word Embeddings

Rodrigo Alejandro Chávez Mulsa, Gerasimos Spanakis|arXiv (Cornell University)|2020. 10. 31.

Hate Speech and Cyberbullying Detection참고 문헌 28인용 수 11

한 줄 요약

이 논문은 영어 기반 방법을 네덜란드어에 맞게 수정하여 네덜란드어 단어 임베딩의 성별 편향을 평가하며, WEAT, 클러스터링, SEAT를 적용해 기존 모델과 컨텍스트 기반 모델의 편향을 정량화한다. 하드-디베이스 및 센텐스-디베이스와 같은 편향 완화 기법이 편향을 감소시키지만, 컨텍스트 기반 모델에서 약 2%의 성능 저하를 유발한다는 점을 입증한다. 또한 공개 사용을 위해 번역된 네덜란드어 데이터셋과 디베이스된 임베딩을 제공한다.

ABSTRACT

Recent research in Natural Language Processing has revealed that word embeddings can encode social biases present in the training data which can affect minorities in real world applications. This paper explores the gender bias implicit in Dutch embeddings while investigating whether English language based approaches can also be used in Dutch. We implement the Word Embeddings Association Test (WEAT), Clustering and Sentence Embeddings Association Test (SEAT) methods to quantify the gender bias in Dutch word embeddings, then we proceed to reduce the bias with Hard-Debias and Sent-Debias mitigation methods and finally we evaluate the performance of the debiased embeddings in downstream tasks. The results suggest that, among others, gender bias is present in traditional and contextualized Dutch word embeddings. We highlight how techniques used to measure and reduce bias created for English can be used in Dutch embeddings by adequately translating the data and taking into account the unique characteristics of the language. Furthermore, we analyze the effect of the debiasing techniques on downstream tasks which show a negligible impact on traditional embeddings and a 2% decrease in performance in contextualized embeddings. Finally, we release the translated Dutch datasets to the public along with the traditional embeddings with mitigated bias.

연구 동기 및 목표

• 네덜란드어의 기존 및 컨텍스트 기반 단어 임베딩에서 성별 편향의 존재와 정도를 조사하는 것.
• 영어 기반 편향 측정 및 완화 기법이 네덜란드어의 언어적 특성(예: 'zij'(그녀/그들)와 같은 대명사)을 고려할 때의 호환성을 평가하는 것.
• 편향 완화가 다운스트림 NLP 작업에 미치는 영향, 특히 성능 저하 측면에서의 영향을 평가하는 것.
• 재현성과 향후 연구를 위해 번역된 네덜란드어 편향 평가 데이터셋과 디베이스된 단어 임베딩을 공개하는 것.

제안 방법

• 영어 테스트 세트를 번역하면서 의미적 구조를 유지함으로써, 네덜란드어에 맞게 워드 임베딩 연관 테스트(WEAT)와 문장 임베딩 연관 테스트(SEAT)를 수정하였다.
• 기존 및 컨텍스트 기반 네덜란드어 임베딩에서 성별 편향을 줄이기 위해 하드-디베이스 및 센텐스-디베이스 기법을 적용하였다.
• 편향 완화 후에도 여전히 존재하는 편향을 평가하기 위해 클러스터링 분석을 수행하였으며, WEAT 기반 완화만으로는 충분하지 않다는 점을 드러내어, 다른 편향 탐지 경로를 밝혀냈다.
• 디베이스된 모델의 성능을 관계 식별 작업과 감성 분석 작업에서 평가하여 다운스트림 영향을 측정하였다.
• 네덜란드어에 특화된 성별을 반영한 단어 쌍을 번역하고 정제하였으며, 'zij'(그녀/그들)와 같은 성별 어휘의 적절한 표현을 디베이스 과정에 통합하였다.
• 컨텍스트 기반 모델인 BERTJe와 RoBert를 활용하여, 네덜란드어에 맞는 문장 템플릿을 적용해 센텐스-디베이스를 수행함으로써, 맥락 인식 표현에서의 성별 편향을 감소시켰다.

실험 결과

연구 질문

• RQ1 네덜란드어 컨텍스트 기반 단어 임베딩은 성별 편향에 민감한가? 그리고 기존 네덜란드어 단어 임베딩와 비교해 어떤가?
• RQ2 언어적 차이(예: 대명사의 모호성)를 고려할 때, 영어 기반 편향 측정 및 완화 기법이 네덜란드어 단어 임베딩에 효과적으로 적용될 수 있는가?
• RQ3 편향 완화가 다운스트림 NLP 작업에 미치는 영향은 어떠한가? 특히 기존 및 컨텍스트 기반 모델에서의 성능 저하 측면에서 어떻게 나타나는가?

주요 결과

• WEAT 테스트에서 효과 크기가 유의미한 수준(p ≤ 0.05 또는 p ≤ 0.01)으로 나타나, 기존 및 컨텍스트 기반 네덜란드어 임베딩 모두 성별 편향이 존재함을 확인하였다.
• 하드-디베이스 및 센텐스-디베이스 기법은 WEAT 및 SEAT 측정 기준으로 편향을 감소시켰지만, 클러스터링 분석을 통해 여전히 편향이 존재함을 확인하여, WEAT만으로는 완전한 편향 탐지가 불충분함을 시사하였다.
• 기존 임베딩의 경우 디베이스 처리 후 성능 저하가 거의 없었으며, 다운스트림 작업에 미치는 영향이 무시할 만할 정도였다.
• 컨텍스트 기반 임베딩(BERTJe 및 RoBert)은 센텐스-디베이스 처리 후 약 2%의 성능 저하를 보였으며, 공정성과 정확성 사이의 상충 관계가 있음을 시사하였다.
• 완화 조치에도 불구하고 컨텍스트 기반 모델에서는 여전히 편향이 존재하여, 이러한 모델의 성별 서브공간이 더 복잡하고 더 강력하거나 특화된 방법이 필요함을 시사하였다.
• 특히 'zij'와 같은 모호한 대명사에 대해 적절한 번역 및 언어적 적응을 통해, 영어 기반 편향 평가 및 완화 기법이 네덜란드어에 효과적으로 적용될 수 있음을 입증하였다.