[논문 리뷰] Is there Gender bias and stereotype in Portuguese Word Embeddings?

Brenda Salenave Santana, Vinicius Woloszyn외 1명|arXiv (Cornell University)|2018. 10. 10.

Gender Studies in Language참고 문헌 2인용 수 7

한 줄 요약

이 연구는 사전에 훈련된 CBOW word2vec 모델을 사용하여 포르투갈어 단어 임bedding에서 성별 편향을 조사하며, 영어어료 접근 방식을 영감으로 삼은 기하학적 편향 제거 방법을 적용한다. 편향 제거 후 정확도가 18.18%에서 3.03%로 크게 하락했음에도 불구하고, 결과는 여성 전문직이 성적으로 비추어지는 역할과 연결되는 강력한 성별 고정관념을 드러내며, 포르투갈어와 같이 자원이 적은 언어에서의 대상적 완화의 필요성을 시사한다.

ABSTRACT

In this work, we propose an analysis of the presence of gender bias associated with professions in Portuguese word embeddings. The objective of this work is to study gender implications related to stereotyped professions for women and men in the context of the Portuguese language.

연구 동기 및 목표

• 포르투갈어 단어 임bedding에서 성별 편향과 직업 고정관념의 존재를 조사하는 것.
• 사전에 훈련된 포르투갈어 word2vec 모델에서 직접적 및 간접적 성별 편향을 정량화하는 것.
• 기하학적 편향 제거 방법이 모델 정확도와 편향 감소에 미치는 영향을 평가하는 것.
• 영어어료 편향 제거 기법을 포르투갈어, 즉 자원이 적은 언어에 효과적으로 적용할 수 있는지 탐색하는 것.
• 성별 언어적 편향을 식별하고 완화함으로써 포르투갈어용 공정한 NLP 모델 개발에 기여하는 것.

제안 방법

• 분석을 위해 300차원의 벡터와 934,966개의 어휘를 가진 사전에 훈련된 연속적 맥락-기반(Continuous Bag-of-Words, CBOW) word2vec 모델을 사용하였다.
• 성별 편향 탐지 방법은 단어 유사도 유형에 기반하며, 관계 'ela' (그녀) - 'x' ≈ 'y' - 'ele' (그)를 테스트한다. 여기서 x는 전문직이고 y는 기대되는 성별 대응어이다.
• 사용자 정의 평가 함수는 벡터 차이의 가장 유사한 단어가 기대되는 여성 전문직과 일치하는지 확인함으로써 정확도를 계산하였다.
• 기하학적 편향 제거 알고리즘이 임베딩 공간의 성별 방향을 중성화하는 데 적용되었으며, 영어어료에서 사용된 방법과 유사하다.
• 모델의 성능은 50개의 남성-여성 전문직 쌍 목록을 사용하여 편향 제거 전후로 평가되었다.
• 코사인 유사도를 사용하여 벡터 유사도를 계산하였고, 가장 유사한 상위-N개의 단어는 gensim 라이브러리를 통해 추출되었다.

실험 결과

연구 질문

• RQ1 포르투갈어 단어 임bedding에서 성별 고정관념에 의해 얼마나 강하게 편향되어 있는가?
• RQ2 기하학적 편향 제거 기법을 적용한 후 성별 전문직 유사도 유형의 정확도는 어떻게 변화하는가?
• RQ3 포르투갈어 단어 임bedding에서 편향 감소와 모델 성능 사이의 상충 관계는 어떠한가?
• RQ4 영어어료 단어 임bedding에서 개발된 기법들이 포르투갈어에 효과적으로 적용될 수 있는가?
• RQ5 여성과 남성 전문직을 포함한 극단적인 유사도 유형은 언어 내에서 사회적 성별 고정관념을 어떻게 반영하는가?

주요 결과

• 원본 모델은 정확도가 18.18%에 달하여 측정 가능한 성능이지만 낮은 예측 성능을 보였다.
• 편향 제거 기법을 적용한 후 정확도가 급격히 3.03%로 하락하여 모델의 유용성에 심각한 부정적 영향을 미쳤다.
• 모델은 강력한 고정관념적 연관성을 보였으며, 예를 들어 'garçonete' (웨이터레스)가 'stripper' (엑스트라 데리커)와 연결되는 등 여성 전문직에 대해 성적으로 비추어지는 역할과 연결되었다.
• 비준수 사례조차도 남성 전문직의 경우 전문적 맥락을 유지하는 반면, 여성 전문직의 경우 자주 성적으로 비추어지는 역할로 이동하였다.
• 결과는 성별 편향이 포르투갈어 단어 임bedding에 깊이 뿌리내려 있으며, 특히 여성 전문직과 관련된 연관성에서 두드러진다는 것을 확인한다.
• 이 연구는 편향 제거 기법이 편향 감소에 기여할 수 있음을 보여주지만, 그 대가로 모델 정확도가 떨어지는 것을 확인하며 공정성 중심의 NLP에서 중요한 상충 관계를 드러낸다.