[논문 리뷰] Evaluating the Underlying Gender Bias in Contextualized Word Embeddings

Christine Basta, Marta R. Costa‐jussà외 1명|arXiv (Cornell University)|2019. 04. 18.

Topic Modeling참고 문헌 20인용 수 27

한 줄 요약

이 논문은 여러 가지 기존의 편향 측정 기법을 사용하여 문맥 기반 단어 임베딩에서 성별 편향을 평가한다. 결과적으로 문맥 기반 임베딩은 성별 공간과 직접적 편향 측정치에서 명시적 성별 편향을 감소시키지만, 여전히 강력한 암묵적 성별 연관성을 유지하고 있으며, 문맥으로부터 성별을 예측하는 분류 정확도가 85% 이상을 기록하여 구조적 개선에도 불구하고 잔류하는 편향이 존재함을 시사한다.

ABSTRACT

Gender bias is highly impacting natural language processing applications. Word embeddings have clearly been proven both to keep and amplify gender biases that are present in current data sources. Recently, contextualized word embeddings have enhanced previous word embedding techniques by computing word vector representations dependent on the sentence they appear in. In this paper, we study the impact of this conceptual change in the word embedding computation in relation with gender bias. Our analysis includes different measures previously applied in the literature to standard word embeddings. Our findings suggest that contextualized word embeddings are less biased than standard ones even when the latter are debiased.

연구 동기 및 목표

• 문맥 기반 단어 임베딩이 표준 단어 임베딩에 비해 성별 편향을 감소시키는지 또는 증폭시키는지 조사하기 위해.
• 성별 공간, 직접적 편향, 군집화와 같은 기존의 편향 측정 기법들이 문맥 기반 임베딩에 적용되었을 때의 효과성을 평가하기 위해.
• 특히 탈편향 처리된 표준 임베딩과 비탈편향 처리된 표준 임베딩과 비교했을 때, 문맥 기반 표현에서 어떤 성별 편향 측면이 유지되거나 완화되는지 규명하기 위해.
• 향후 편향 제거 기법과 공정한 NLP 모델 설계를 위한 통찰을 제공하기 위해, 문맥 기반 모델에서 가장 유informative한 편향 평가 지표를 특정하기 위해.

제안 방법

• 이 연구는 표준 단어 임베딩에 대해 이전 연구에서 확립된 편향 평가 프레임워크를 문맥 기반 임베딩에 적용한다. 이는 성별 공간, 직접적 편향, 남성/여성 군집 분석을 포함한다.
• 문맥 기반 단어 벡터를 사용한 성별 분류 작업을 수행한다. 이는 직업의 벡터 표현을 기반으로 그 직업과 연관된 성별을 예측하는 모델을 사용하며, 결과의 안정성을 확보하기 위해 10회의 무작위 시험을 실시한다.
• 스테레오타입 연관성을 분석하기 위해 k-최근접 이웃(k-NN) 방법을 사용한다. 각 직업어의 가장 가까운 이웃들 중 남성 또는 여성 스테레오타입으로 간주되는 직업의 비율을 측정한다.
• 각 직업어의 원래 성별 편향과 스테레오타입 이웃의 비율 간 피어슨 상관관계를 계산하며, 유의성은 p-값을 통해 검증한다.
• 모든 실험은 랜덤으로 선택된 문맥 문장을 10번 반복하여 실시하여 표현의 안정성 확보 및 결과의 분산 감소를 도모한다.
• 표준 임베딩(탈편향 및 비탈편향 처리)과 문맥 기반 임베딩(EMLo, BERT 등) 간의 결과를 비교하여, 맥락 인식 표현의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 문맥 기반 단어 임베딩을 사용할 경우 표준 단어 임베딩에 비해 성별 편향이 감소하는가?
• RQ2 성별 분류 정확도로 측정했을 때, 문맥 기반 임베딩에서 암묵적 성별 편향은 어느 정도 유지되는가?
• RQ3 표준 임베딩과 비교했을 때, 문맥 기반 임베딩은 성별 특화 군집화 및 최근접 이웃의 스테레오타입화 정도에서 어떻게 성능을 내는가?
• RQ4 문맥 기반 표현에서 잔류하는 성별 편향을 가장 민감하게 반영하는 편향 평가 지표는 무엇인가?

주요 결과

• 문맥 기반 단어 임베딩은 표준 임베딩에 비해 성별 공간과 직접적 편향이 감소하여 명시적 성별 편향의 측정 가능한 완화를 보여준다.
• 문맥 기반 임베딩의 성별 분류 정확도는 10회의 실험 평균 85.56%를 기록했으며, 최소 83.33%, 최대 88.43%를 기록하여 강력한 암묵적 성별 연관성을 시사한다.
• k-최근접 이웃 분석 결과, 스테레오타입 이웃의 비율과 원래 직업의 성별 편향 간 피어슨 상관관계는 0.89(범위: 0.801–0.961)였으며, 이는 탈편향 처리된(0.606) 및 비탈편향 처리된 표준 임베딩(0.774)보다 유의미하게 높았다.
• 문맥 기반 임베딩는 탈편향 및 비탈편향 처리된 표준 임베딩 모두보다 남성 및 여성 스테레오타입 직업의 군집화가 더 강하게 나타나, 이웃 구조 내에서 성별 스테레오타입화가 증폭됨을 시사한다.
• 명시적 편향은 낮아졌지만, 문맥 기반 임베딩는 암묵적 성별 편향을 유지하고 심지어 증폭시키며, 현재의 편향 제거 기법이 맥락 기반 성별 연관성에는 완전히 대응하지 못할 수 있음을 시사한다.
• 결과적으로, 향후 문맥 기반 모델을 위한 편향 제거 기법은 전통적 측정법보다 잔류 편향을 더 잘 드러내는 지표, 예를 들어 암묵적 성별 예측 및 스테레오타입 군집화와 같은 지표를 우선적으로 고려해야 한다.