[논문 리뷰] Bias Out-of-the-Box: An Empirical Analysis of Intersectional Occupational Biases in Popular Generative Language Models

Hannah Rose Kirk, Yennie Jun외 6명|arXiv (Cornell University)|2021. 02. 08.

Computational and Text Analysis Methods인용 수 53

한 줄 요약

이 논문은 성별이 종교, 성적 지향, 민족성, 정치적 성향, 대륙 이름 기원과 교차하는 직업 연관성에서 GPT-2의 즉시(out-of-the-box) 편향을 분석하고, 예측을 미국 노동시장 데이터와 비교한다.

ABSTRACT

The capabilities of natural language models trained on large-scale data have increased immensely over the past few years. Open source libraries such as HuggingFace have made these models easily available and accessible. While prior research has identified biases in large language models, this paper considers biases contained in the most popular versions of these models when applied `out-of-the-box' for downstream tasks. We focus on generative language models as they are well-suited for extracting biases inherited from training data. Specifically, we conduct an in-depth analysis of GPT-2, which is the most downloaded text generation model on HuggingFace, with over half a million downloads per month. We assess biases related to occupational associations for different protected categories by intersecting gender with religion, sexuality, ethnicity, political affiliation, and continental name origin. Using a template-based data collection pipeline, we collect 396K sentence completions made by GPT-2 and find: (i) The machine-predicted jobs are less diverse and more stereotypical for women than for men, especially for intersections; (ii) Intersectional interactions are highly relevant for occupational associations, which we quantify by fitting 262 logistic models; (iii) For most occupations, GPT-2 reflects the skewed gender and ethnicity distribution found in US Labor Bureau data, and even pulls the societally-skewed distribution towards gender parity in cases where its predictions deviate from real labor market observations. This raises the normative question of what language models should learn - whether they should reflect or correct for existing inequalities.

연구 동기 및 목표

• 대중적으로 널리 사용되는 오픈 소스 언어 모델이 기본 상태에서 가지고 있는 편향 연구를 촉진한다.
• 다수의 보호 속성에 걸쳐 GPT-2의 교차적 직업 편향을 측정하는 프로토콜을 개발한다.
• 통계 모델링을 통해 교차성이 직업 예측에 미치는 영향을 정량화한다.
• GPT-2가 예측한 직업 분포를 실제 미국 노동 시장 데이터와 비교하여 일치 여부를 평가한다.

제안 방법

• 직업 언급이 포함된 GPT-2 문장 완성 396K개를 추출하기 위한 템플릿 기반 데이터 수집 파이프라인을 사용한다.
• 보호 속성과 관련된 직업 연상을 끌어내기 위해 정체성 기반 및 이름 기반 접두어 프롬프트를 적용한다.
• Stanford CoreNLP NER로 직업을 추출하고 분석을 위한 원-핫 토큰 빈도 행렬을 구성한다.
• 교차 효과를 정량화하기 위해 상호작용 항을 포함한 262개의 로지스틱 회귀 모델을 적합시킨다.
• 인구 통계 분포를 보정하여 GPT-2 예측 분포와 2019년 미국 노동통계국의 직업 데이터와 비교한다.

실험 결과

연구 질문

• RQ1 즉시(out-of-the-box) GPT-2 출력이 성별 및 교차적 직업 편향을 보이는가?
• RQ2 성별과 민족, 종교, 성적 지향, 정치적 성향, 대륙 이름 기원 간의 교차가 예측된 직업에 어떤 영향을 미치는가?
• RQ3 GPT-2의 예측이 성별 및 인종/민족에 따른 실제 미국 직업 분포와 얼마나 일치하는가?
• RQ4 주 효과를 넘어서 교차 상호작용이 GPT-2의 직업 예측을 변화시키는 데 유의한가?
• RQ5 모델 예측이 직업 연관성에서 표현적 혹은 배분적 해를 시사하는가?

주요 결과

• GPT-2는 여성의 직업이 남성보다 덜 다양하고 더 고정관념적이며, 여성의 직업 군집화가 더 높다.
• 교차 상호작용(예: 성별과 민족, 종교, 성적 지향)은 직업 예측에 큰 영향을 미치며, 많은 모델에서 유의한 상호작용 항이 나타난다.
• 대부분의 직업에서 GPT-2 예측은 미국 노동 데이터의 편향을 반영하고 있으며, 일부 경우 성별의 평등에 다가가 실제의 극단적 왜곡을 바로잡을 가능성이 있다.
• 로지스틱 회귀에서 여성 더미가 설명 가능한 변동을 많은 모델에 추가하고(평균 ΔR^2 ≈ +3.3%), 많은 상호작용이 유의하다(회귀의 약 1/3).
• 미국 데이터와의 비교에서 강한 양의 상관관계(Kendall Tau ≈ 0.63)와 낮은 평균 제곱 오차를 보였으나, GPT-2는 여성 다수 직업에서 여성을 과대추정하고 매우 여성 편향된 직업에서 과소추정하는 경향이 있다.
• GPT-2는 여성의 상위 5개 직업(예: 웨이트리스, 간호사)을 미국 데이터에 비해 과다 표현하는 경향이 있지만, 민족성과 관련된 실제 분포를 일부 반영하기도 한다.