[논문 리뷰] Are Emily and Greg Still More Employable than Lakisha and Jamal? Investigating Algorithmic Hiring Bias in the Era of ChatGPT

Akshaj Kumar Veldanda, Fabian Grob외 5명|arXiv (Cornell University)|2023. 10. 08.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 연구는 베르트랑 및 문라이내탄(2003)의 영향을 받은 복제된 현장 실험을 기반으로, 최신 대규모 언어 모델(GPT-3.5, Bard, Claude)이 알고리즘 기반 채용 과정에서 편향을 보이는지 평가한다. 인종과 성별에 대한 편향은 최소 수준이지만, 임신 상태와 정치적 소속에 대한 편향은 뚜렷하게 나타나며, 특히 전체 이력서 분류 과제에서 두드러지며, LLM이 생성한 요약본에서는 편향이 감소하는 경향을 보인다.

ABSTRACT

Large Language Models (LLMs) such as GPT-3.5, Bard, and Claude exhibit applicability across numerous tasks. One domain of interest is their use in algorithmic hiring, specifically in matching resumes with job categories. Yet, this introduces issues of bias on protected attributes like gender, race and maternity status. The seminal work of Bertrand & Mullainathan (2003) set the gold-standard for identifying hiring bias via field experiments where the response rate for identical resumes that differ only in protected attributes, e.g., racially suggestive names such as Emily or Lakisha, is compared. We replicate this experiment on state-of-art LLMs (GPT-3.5, Bard, Claude and Llama) to evaluate bias (or lack thereof) on gender, race, maternity status, pregnancy status, and political affiliation. We evaluate LLMs on two tasks: (1) matching resumes to job categories; and (2) summarizing resumes with employment relevant information. Overall, LLMs are robust across race and gender. They differ in their performance on pregnancy status and political affiliation. We use contrastive input decoding on open-source LLMs to uncover potential sources of bias.

연구 동기 및 목표

• 현대의 대규모 언어 모델이 인종, 성별, 임신 상태, 정치적 소속과 같은 보호 대상 속성에 대해 알고리즘 기반 채용 과정에서 편향을 유발하는지 조사하는 것.
• 베르트랑 및 문라이내탄(2003)의 획기적인 현장 실험 방법론을 LLM 기반 채용 시스템으로 확장하여 실증적 편향 평가를 수행하는 것.
• 전체 이력서 분류 과제와 이력서 요약 과제 간의 편향 수준을 비교하여 요약이 편향을 감소시키는지 평가하는 것.
• LLM가 생성한 요약에서 민감한 속성이 얼마나 유지되는지 분석하고, 대조적 입력 복원 기법을 활용해 편향의 잠재적 원인을 규명하는 것.
• LLM 기반 채용 시스템의 감사에 활용 가능한 방법론 프레임워크를 제공하여 규제 준수와 AI 기반 인사 관리 도구의 공정성 확보를 지원하는 것.

제안 방법

• 노동 통계에서 성별 구성이 뚜렷하게 다른 세 직업 분야(IT, 교사, 건설)에서 334건의 익명화된 이력서를 선별하여 이력서 코퍼스를 구축하였다.
• 이력서에 민감한 속성(이름, 성별, 인종, 임신 상태, 정치적 소속)을 주석으로 추가하여 '플래그가 부여된' 버전을 생성하였으며, 직업 분야의 진위 정보는 유지하였다.
• 두 가지 LLM 과제를 적용하였다: (1) 분류 프롬프트를 사용한 이력서-직업 분야 분류, (2) 요약 프롬프트를 사용한 이력서 요약.
• 민감한 속성 플래그에 대한 모델 반응을 분석하여 편향 원인을 탐색하기 위해 오픈소스 LLM에 대조적 입력 복원을 적용하였다.
• 등비 기회 격차 등의 지표를 사용하여 공정성 수준을 평가하였으며, 보호 대상 속성 그룹 간 예측 비율을 비교하였다.
• 관측된 편향 차이에 대한 통계적 유의성 검정을 실시하였으며, 사전에 실험 설정을 명시하여 p-해킹을 방지하였다.

실험 결과

연구 질문

• RQ1 최신 대규모 언어 모델이 이력서를 직업 분야로 분류할 때, 인종, 성별, 임신 상태, 정치적 소속과 같은 보호 대상 속성에 대해 편향을 보이는가?
• RQ2 전체 텍스트 이력서와 LLM이 생성한 요약 간의 LLM 기반 이력서 분류에서 편향 수준은 어떻게 비교되는가?
• RQ3 임신 상태나 정치적 소속과 같은 민감한 속성이 LLM이 생성한 이력서 요약에 어느 정도 유지되는가?
• RQ4 GPT-3.5, Bard, Claude와 같은 LLM 간에 편향 행동에 눈에 띄는 차이가 있는가?
• RQ5 대조적 입력 복원은 이력서 처리 과정에서 LLM 출력의 특정 언어적 또는 구조적 원인을 밝혀낼 수 있는가?

주요 결과

• LLM은 전체 이력서 분류 및 요약 과제에서 인종과 성별에 대해 최소 수준 또는 통계적으로 유의미한 편향을 보이지 않았다.
• Claude는 임신 상태 또는 정치적 소속 플래그가 부여된 이력서를 분류할 때 통계적으로 유의미한 등비 기회 격차(p < 0.05)를 보였다.
• GPT-3.5 역시 임신 및 정치적 소속에 대해 측정 가능한 편향을 보였지만, Claude보다는 덜 두드러졌다.
• Bard는 민감한 속성 플래그(예: 임신, 정치적 소속)가 포함된 경우 요약을 생성하지 못했으며, 이는 과도한 정제 또는 안전성 강화의 징후로 보인다.
• 민감한 속성 플래그가 LLM이 생성한 이력서 요약의 최대 94%에 유지되어 보호 정보의 고위험 유출이 있음을 시사한다.
• 편향은 전체 이력서 분류 과제에서 요약본 분류 과제보다 항상 높게 나타나, 요약 과정이 편향 노출을 감소시킬 수 있음을 시사한다.