[논문 리뷰] AraWEAT: Multidimensional Analysis of Biases in Arabic Word Embeddings

Anne Lauscher, Rafik Takieddin외 2명|MADOC (University of Mannheim)|2020. 11. 03.

Topic Modeling참고 문헌 22인용 수 6

한 줄 요약

이 논문은 WEAT 테스트를 적응시켜 추가적인 편향 측정 방법을 통합한 다차원적 프레임워크인 AraWEAT를 소개한다. 이는 아랍어 단어 임베딩 내 편향을 정량화하는 데 사용되며, 아랍어 뉴스 임베딩에서 암묵적 성별 편향이 2007년에서 2017년 사이에 지속적으로 증가하고 있으며, 현대 표준 아랍어보다 Egyptians 아랍어에서 더 뚜렷하다는 것을 드러낸다. 전체 코퍼스의 편향은 하위 코퍼스 평균값으로 강하게 예측 가능하다.

ABSTRACT

Recent work has shown that distributional word vector spaces often encode human biases like sexism or racism. In this work, we conduct an extensive analysis of biases in Arabic word embeddings by applying a range of recently introduced bias tests on a variety of embedding spaces induced from corpora in Arabic. We measure the presence of biases across several dimensions, namely: embedding models (Skip-Gram, CBOW, and FastText) and vector sizes, types of text (encyclopedic text, and news vs. user-generated content), dialects (Egyptian Arabic vs. Modern Standard Arabic), and time (diachronic analyses over corpora from different time periods). Our analysis yields several interesting findings, e.g., that implicit gender bias in embeddings trained on Arabic news corpora steadily increases over time (between 2007 and 2017). We make the Arabic bias specifications (AraWEAT) publicly available.

연구 동기 및 목표

• 암묵적 성별 편향의 존재와 변화를 아랍어 단어 임베딩에서 조사하는 것. 아랍어는 약 3억 명의 사용자가 있는 주요 세계 언어이다.
• 다국어 XWEAT 프레임워크를 아랍어에 확장하기 위해 아랍어 언어에 맞게 편향 테스트 사양을 번역하고 적응시키는 것.
• 다양한 차원에서 편향을 분석하는 것: 임베딩 모델(스킵그램, CBOW, 패스트텍스트), 벡터 크기, 텍스트 유형(백과사전, 뉴스, 사용자 생성 콘텐츠), 방언(표준 아랍어 대비 이집트 아랍어), 시간대.
• 대규모 코퍼스의 편향이 시간적으로 분리된 하위 코퍼스의 편향으로부터 예측 가능한지 평가하는 것.
• 향후 아랍어 NLP의 공정성 연구를 지원하기 위해 공개된 아랍어 편향 사양(AraWEAT) 기여

제안 방법

• 목표어 및 속성어 집합에 대한 편향 테스트 사양을 번역하고 검증하여 원본 영문 WEAT 테스트를 아랍어에 적응시키는 것.
• 4개의 보완적 편향 테스트 통합: WEAT(명시적 연관 편향), 임베딩 일관성 테스트(ECT), 편향 유추 테스트(BAT), 암묵적 편향 테스트(KM) — 암묵적 성별 편향 측정을 위해.
• 다양한 코퍼스에서 아랍어 단어 임베딩 모델(Skip-Gram, CBOW, FastText)을 훈련: 아랍어 라이프치히 뉴스(2007–2017), 위키백과(백과사전), 사용자 생성 콘텐츠.
• 시계적 분석을 위해 아랍어 뉴스 코퍼스의 연별 하위 코퍼스를 기반으로 모델을 훈련하여 시간에 따른 편향 변화 추적.
• 여러 임베딩 공간과 코퍼스 간의 편향 점수 간 코사인 유사도와 통계적 상관관계를 측정하여 편향을 측정.
• 피어슨 상관계수를 사용하여 전체 코퍼스의 편향(CONC)이 겹치지 않는 연별 하위 코퍼스 평균 편향(AVG)과 상관관계가 있는지 평가.

실험 결과

연구 질문

• RQ1 스킵그램, CBOW, 패스트텍스트와 같은 다양한 아랍어 단어 임베딩 모델과 벡터 크기가 결과 임베딩의 편향 수준에 어떤 영향을 미치는가?
• RQ2 현대 표준 아랍어(MSA)와 이집트 아랍어(방언) 코퍼스에서 훈련된 임베딩 간 편향 수준에 유의미한 차이가 있는가?
• RQ3 뉴스, 사용자 생성 콘텐츠, 백과사전 텍스트와 같은 텍스트 유형에 따라 아랍어 단어 임베딩의 편향은 어떻게 변하는가?
• RQ4 10년 간의 기간(2007–2017) 동안 아랍어 뉴스 임베딩에서 암묵적 성별 편향이 증가하는가?
• RQ5 비교적 큰 단일 코퍼스의 편향은 시간적으로 분리된 비중복 하위 코퍼스의 평균 편향 점수를 평균하여 정확하게 예측할 수 있는가?

주요 결과

• 아랍어 뉴스 임베딩에서의 암묵적 성별 편향(KM)은 2007년에서 2017년 사이에 지속적으로 증가하며, 성별과 직업/가정 역할 간의 고정관념적 연관성이 점점 강화되고 있음을 시사한다.
• 이집트 아랍어 코퍼스에서 훈련된 임베딩는 현대 표준 아랍어 코퍼스에서 훈련된 임베딩보다 유의미하게 더 높은 편향 수준을 보이며, 방언 차이가 편향을 악화시킬 수 있음을 시사한다.
• 전체 아랍어 라이프치히 뉴스 코퍼스(2007–2017)에서 WEAT로 측정한 명시적 편향은 연별 하위 코퍼스의 평균 편향 점수와 밀접하게 상관되며, 피어슨 상관계수 66%를 기록한다.
• 더 큰 코퍼스에서 훈련된 임베딩에서 편향 수준이 일반적으로 더 높으며, 백과사전 텍스트에 비해 사용자 생성 콘텐츠에서 더 두드러지게 나타나지만, 다른 언어에 비해 그 차이는 다소 뚜렷하지 않다.
• AraWEAT 프레임워크는 언어, 모델, 시간에 걸쳐 다차원적 편향을 성공적으로 포착하였으며, 편향이 균일하게 분포되어 있지 않고 동적으로 변화함을 입증한다.
• 공개된 AraWEAT(아랍어 편향 사양 포함)는 아랍어 NLP 시스템에서 재현 가능하고 확장 가능한 편향 평가를 가능하게 하며, 향후 연구를 지원한다.