[논문 리뷰] The Silicon Ceiling: Auditing GPT's Race and Gender Biases in Hiring

L Armstrong, Abbey Liu외 2명|arXiv (Cornell University)|2024. 05. 07.

Names, Identity, and Discrimination Research인용 수 4

한 줄 요약

이 연구는 두 가지 실험—이력서 평가와 이력서 생성—을 통해 GPT-3.5가 채용 과정에서 인종 및 성별 편향을 보이는지 감사한다. GPT-3.5는 전통적인 편향을 보이며, 남성 중심 직업에 지원하는 여성에게 낮은 평가를 내리고 아시아계 및 히스패닉계 성을 가진 이름에 이민자 표시를 부여한다. 이는 기존 사회적 불평등을 유지하는 '실리콘 천장'을 드러내며, 자동화된 채용 과정에서 문제가 된다.

ABSTRACT

Large language models (LLMs) are increasingly being introduced in workplace settings, with the goals of improving efficiency and fairness. However, concerns have arisen regarding these models' potential to reflect or exacerbate social biases and stereotypes. This study explores the potential impact of LLMs on hiring practices. To do so, we conduct an AI audit of race and gender biases in one commonly-used LLM, OpenAI's GPT-3.5, taking inspiration from the history of traditional offline resume audits. We conduct two studies using names with varied race and gender connotations: resume assessment (Study 1) and resume generation (Study 2). In Study 1, we ask GPT to score resumes with 32 different names (4 names for each combination of the 2 gender and 4 racial groups) and two anonymous options across 10 occupations and 3 evaluation tasks (overall rating, willingness to interview, and hireability). We find that the model reflects some biases based on stereotypes. In Study 2, we prompt GPT to create resumes (10 for each name) for fictitious job candidates. When generating resumes, GPT reveals underlying biases; women's resumes had occupations with less experience, while Asian and Hispanic resumes had immigrant markers, such as non-native English and non-U.S. education and work experiences. Our findings contribute to a growing body of literature on LLM biases, particularly in workplace contexts.

연구 동기 및 목표

• GPT-3.5가 자동화된 채용 과정에서 인종 및 성별 편향을 반영하거나 악화시키는지 조사하는 것.
• 성별 및 인종을 암시하는 이름 기반 신호가 GPT-3.5의 이력서 품질 평가, 면접 의향, 채용 가능성 평가에 어떻게 영향을 미치는지 분석하는 것.
• 가짜 지원자에게 다른 이름을 부여하고 생성한 이력서의 내용을 분석함으로써 GPT-3.5의 잠재적 편향을 탐구하는 것.
• 특히 뉴욕시 로컬 레인지 144와 같은 신규 규제 하에서 적용 가능한 알고리즘 공정성 감사의 방법론적 통찰을 기여하는 것.
• 객관성의 이름으로 구조적 불평등을 강화하는 AI 시스템의 위험을 부각하고, 이 현상을 묘사하기 위해 '실리콘 천장'이라는 용어를 도입하는 것.

제안 방법

• 32개 이름(성별 2개와 인종 그룹 4개의 조합별로 4개씩)을 사용한 이력서 평가 연구(연구 1)를 수행. 각 이름은 10개의 직업 특화 이력서와 짝지어졌다.
• 각 이력서에 대해 GPT-3.5는 총점, 면접 의향, 채용 의향을 각각 3점으로 평가하도록 프롬프트를 제공했으며, 토큰 생성 변동성을 고려해 각 이력서당 50회의 시행을 실시했다.
• 이력서 생성 연구(연구 2)를 수행하여, GPT-3.5가 각 이름당 10개의 고유한 이력서를 생성하도록 프롬프트를 제공했다. 이 중 두 개는 익명 처리된 옵션으로 제공되었다.
• 수작업으로 생성된 이력서를 자체 개발한 코드북을 사용해 분석하여, 경력 기간, 직위 수준, 교육 배경, 이민자 표시(예: 비모국어 사용, 미국 외 교육 또는 경력) 등의 지표를 확인했다.
• 통계 분석을 통해 성별 및 인종 그룹 간 평가 점수와 이력서 특성의 격차를 비교했다.
• 기존의 이력서 감사 연구 원칙을 대규모 언어 모델 환경에 적용했으며, LLM의 확률적이고 자동적 순차적 행동 특성에 맞게 실험 설계를 조정했다.

실험 결과

연구 질문

• RQ1 RQ1: 미국 채용 환경에서 잠재적 지원자를 평가할 때, GPT는 인종, 성별 또는 그 조합에 따라 편향을 보이는가?
• RQ2 RQ2: 미국 환경에서 자체적으로 채용 관련 콘텐츠를 생성할 때, GPT는 인종, 성별 또는 그 조합에 따라 잠재적 편향을 드러내는가?
• RQ3 RQ3: GPT-3.5의 이력서 생성 패턴은 기존 사회적 성별 및 인종에 대한 스테레오타입을 어떻게 반영하거나 강화하는가?
• RQ4 RQ4: GPT-3.5의 평가 및 생성된 콘텐츠는 특히 남성 또는 백인 중심 분야에서 노동 시장의 구조적 불평등을 어느 정도 반영하는가?

주요 결과

• 이력서 평가 연구에서, GPT-3.5는 남성 중심 직업에 지원하는 여성에게 유의미하게 낮은 점수를 부여하여 성별 기반 평가 편향을 보였다.
• GPT-3.5는 흑인, 아시아계, 히스패닉계 등 소수자로 보이는 이름을 가진 지원자에게 전반적인 평가 점수가 낮고, 면접 및 채용 의향도 낮게 평가했다. 특히 백인 중심 직업에서 두드러졌다.
• 이력서 생성 과정에서, GPT-3.5는 같은 이름과 직업을 가진 남성 지원자에 비해 여성 지원자에 대해 낮은 직위 수준과 짧은 경력 기간을 가진 이력서를 생성했다.
• 아시아계 및 히스패닉계 이름을 가진 지원자에 대해 생성된 이력서는 자주 비모국어 사용 표시와 미국 외 교육 또는 경력 경험을 포함했으며, 이는 이민자 스테레오타입을 강화했다.
• 흑인 및 백인 이름은 이민자 표시와 연관될 가능성이 낮아, GPT-3.5의 출력에서 국적 및 어학 능력에 대한 인종화된 코드가 존재함을 시사한다.
• 평가 및 생성 결과의 조합을 통해, GPT-3.5가 기존 사회적 편향을 재생산하고 내재화함으로써 AI 기반 채용에서 소수자 집단의 기회를 제한하는 체계적인 패tern을 드러내며, 이는 '실리콘 천장' 현상으로 이어진다.