[논문 리뷰] Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models

Daniel de Vassimon Manela, David Errington외 3명|arXiv (Cornell University)|2021. 01. 24.

Natural Language Processing Techniques참고 문헌 27인용 수 13

한 줄 요약

이 논문은 사전 훈련된 및 미세조정된 언어 모델의 성별 편향을 정량화하기 위해 스케일과 스테레오타입이라는 두 가지 새로운 지표를 도입한다. 특히 WinoBias 대명사 해석 작업에서의 성별 편향을 중심으로 다룬다. 연구에서는 스케일(전반적인 남성 대명사 선호도)과 스테레오타입(성별에 따라 연결된 직업에 대한 비율 불균형) 사이에 상충 관계가 있음을 발견하였으며, 미세조정 중 데이터 증강이 두 편향 모두를 효과적으로 감소시키는 반면, 온라인 보정 전략은 한 편향만 감소시키고 다른 편향을 증가시켜 오히려 악영향을 미친다는 것을 보여준다.

ABSTRACT

This paper proposes two intuitive metrics, skew and stereotype, that quantify and analyse the gender bias present in contextual language models when tackling the WinoBias pronoun resolution task. We find evidence that gender stereotype correlates approximately negatively with gender skew in out-of-the-box models, suggesting that there is a trade-off between these two forms of bias. We investigate two methods to mitigate bias. The first approach is an online method which is effective at removing skew at the expense of stereotype. The second, inspired by previous work on ELMo, involves the fine-tuning of BERT using an augmented gender-balanced dataset. We show that this reduces both skew and stereotype relative to its unaugmented fine-tuned counterpart. However, we find that existing gender bias benchmarks do not fully probe professional bias as pronoun resolution may be obfuscated by cross-correlations from other manifestations of gender prejudice. Our code is available online, at https://github.com/12kleingordon34/NLP_masters_project.

연구 동기 및 목표

• 기존의 대명사-스테레오타입 연관성 외에 더 세분화된 성별 편향 측정 지표를 개발하기 위해.
• WinoBias와 같은 기존 벤치마크가 전문 직업에 대한 성별 편향을 충분히 반영하는지, 아니면 다른 스테레오타입에 의해 혼동되는지 조사하기 위해.
• 온라인 스케일 보정과 미세조정 중 데이터 증강이라는 두 가지 편향 보정 전략의 효과를 평가하고 비교하기 위해.
• 현재의 벤치마크가 전문적 특성 외에 능력 또는 성격과 같은 비전문적 특성에 의한 편향을 분리하지 못함으로써 모델이 여전히 편향을 드러내는 것을 폭 드러내기 위해.
• 더 포괄적이고 고립된 편향 벤치마크를 통해 NLP 모델에서 성별 편견의 다양한 형태를 보다 정확히 탐색할 것을 주장하기 위해.

제안 방법

• 스케일(전반적인 남성 대명사 선호도)과 스테레오타입(성별에 따라 연결된 직업에 대한 비율 불균형)이라는 두 가지 새로운 편향 지표를 제안한다.
• WinoBias 데이터셋을 사용하며, 특히 테스트 세트 2(T2)를 활용하여 전문 직업어를 'person'으로 대체함으로써 능력 기반 편향을 고립시킨다.
• 추론 중에 어텐션 점수를 조정함으로써 온라인 스케일 보정을 적용하여 남성 대명사 편향을 감소시킨다.
• 이전의 ELMo 편향 제거 연구를 영감으로 삼아, 남성과 여성 참조 수가 균형 잡힌 데이터셋을 생성하여 BERT를 미세조정하기 위해 데이터 증강을 구현한다.
• 원본 및 증강된 데이터셋을 모두 사용하여 BERT를 미세조정한 후, WinoBias T2에서 스케일 및 스테레오타입 지표를 사용해 편향을 평가한다.
• 능력 수준(무능력, 중립, 능력 있음)에 따른 성별 비율을 분석하여 전문성 외의 요소에서 잔류하는 편향을 탐지한다.

실험 결과

연구 질문

• RQ1 기존의 대명사-스테레오타입 연관성 외에, 사전 훈련 및 미세조정된 언어 모델의 성별 편향을 어떻게 더 잘 정량화할 수 있는가?
• RQ2 기본 동작 상태의 모델에서 스케일(전반적인 대명사 선호도)과 스테레오타입(직업 기반 편향) 사이에 상충 관계가 존재하는가?
• RQ3 미세조정 중 데이터 증강이 BERT에서 스케일과 스테레오타입을 모두 효과적으로 감소시킬 수 있는가?
• RQ4 현재의 벤치마크, 예를 들어 WinoBias는 진정으로 전문 직업 성별 편향을 고립시키는가, 아니면 성격이나 능력 같은 다른 스테레오타입에 의해 혼동되는가?
• RQ5 언어 모델이 능력과 같은 비전문적 특성에 의해 편향을 드러내는가, 그리고 이를 어떻게 측정할 수 있는가?

주요 결과

• 기본 동작 상태의 모델에서 스케일과 스테레오타입 사이에 강한 음의 상관관계가 존재하여, 전반적인 대명사 선호도와 전문직 기반 편향 사이에 상충 관계가 있음을 시사한다.
• DistilBERT와 BERT는 높은 스케일과 낮은 스테레오타입을 보이며, RoBERTa와 ALBERT-xxlarge는 낮은 스케일이지만 높은 스테레오타입을 보인다.
• 온라인 스케일 보정은 스케일을 감소시키지만 스테레오타입을 증가시켜 의도한 효과와 반대로 작용함을 보여준다.
• 미세조정 중 데이터 증강은 증강되지 않은 미세조정 대비 스케일과 스테레오타입을 모두 감소시키며, 이는 편향 보정 전략으로서의 효과를 입증한다.
• 전문직 편향을 감소시킨 후에도 모델은 능력 기반 대명사 해석에서 성별 불균형을 보이며, BERT-A는 '무능력' 카테고리에서 여성 대명사 사용 비율을 0.156에서 0.281로 증가시켜 잔류 편향을 시사한다.
• 현재의 벤치마크, 예를 들어 WinoBias와 Winogender는 전문직 편향을 완전히 고립하지 못하며, 성격이나 능력과 같은 다른 스테레오타입의 상관관계가 전문직 편향의 진정한 성격을 흐리게 한다.