[논문 리뷰] Auditing the Use of Language Models to Guide Hiring Decisions

Johann D. Gaebler, Sharad Goel외 2명|arXiv (Cornell University)|2024. 04. 03.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 논문은 인종 및 성별 편향을 탐지하는 데 일반적으로 사용되는 대응 실험(correspondence experiments)을 활용하여 대규모 언어 모델(LLMs)의 채용 평가에서 인종 및 성별 편향을 감시하는 방법을 제안한다. 실제 K-12 교사 채용 지원서에 이름과 대명사를 체계적으로 변경함으로써, 여러 LLM에서 여성과 소수민족에게 유리한 중간 정도의 격차를 발견하였으며, 명시적 신원 정보가 제거된 후에도 인구 통계적 추론이 지속된다는 점에서, 편향의 존재가 명백히 드러나 있다.

ABSTRACT

Regulatory efforts to protect against algorithmic bias have taken on increased urgency with rapid advances in large language models (LLMs), which are machine learning models that can achieve performance rivaling human experts on a wide array of tasks. A key theme of these initiatives is algorithmic "auditing," but current regulations -- as well as the scientific literature -- provide little guidance on how to conduct these assessments. Here we propose and investigate one approach for auditing algorithms: correspondence experiments, a widely applied tool for detecting bias in human judgements. In the employment context, correspondence experiments aim to measure the extent to which race and gender impact decisions by experimentally manipulating elements of submitted application materials that suggest an applicant's demographic traits, such as their listed name. We apply this method to audit candidate assessments produced by several state-of-the-art LLMs, using a novel corpus of applications to K-12 teaching positions in a large public school district. We find evidence of moderate race and gender disparities, a pattern largely robust to varying the types of application material input to the models, as well as the framing of the task to the LLMs. We conclude by discussing some important limitations of correspondence experiments for auditing algorithms.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)이 K-12 교사 채용 평가에서 인종적·성별적 편향을 유발하는지 여부를 조사하기 위해.
• 대응 실험 기법이 LLM 기반 인사 시스템에서 알고리즘 편향을 감시하는 데 효과적인가를 평가하기 위해.
• 입력 자료, 모델 지침, 익명화 기법의 변화에 따라 관찰된 격차의 강건성(robustness)을 테스트하기 위해.
• LLMs가 익명화된 지원서 자료에서 인구 통계적 특성을 유추할 수 있는지, 이는 '무지에 의한 공정성(fairness through unawareness)' 접근 방식을 약화시킬 수 있음을 검토하기 위해.
• 실증 기반의 실용적 방법을 제공하여 규제 및 정책 수립에 기여하기 위해.

제안 방법

• 텍사스 주의 대규모 공립학교 교육청에 제출된 실제 K-12 교사 채용 지원서(이력서 및 영상 인터뷰 응답 포함)로 구성된 새로운 코퍼스를 구축함.
• 최신의 오픈소스 및 전문가용 LLM을 활용하여 지원서 자료를 바탕으로 채용 추천을 생성함.
• 다양한 인종 및 성별 신분을 시뮬레이션하기 위해 대응 실험을 적용하여 지원자 이름과 대명사를 체계적으로 변경함.
• 모델 지침 변경, 이력서만 입력하는 경우, 학교 교육청 정보를 흑인 비율이 높은 지역으로 대체하는 방식으로 강건성 검증을 수행함.
• 이름과 대명사를 입력에서 제거한 제어 조건을 설정하여 '무지에 의한 공정성'의 효과를 테스트함.
• 다양한 인구 집단 간 채용 추천의 격차를 분석함에 있어 점수 차이를 중심으로 분석함.

실험 결과

연구 질문

• RQ1 최신의 LLM은 K-12 교사 채용 평가에서 측정 가능한 인종 및 성별 격차를 보이는가?
• RQ2 이러한 격차는 입력 자료의 형태(예: 이력서만 vs. 전체 지원서) 및 모델 지침의 변화에 대해 얼마나 강건한가?
• RQ3 LLM이 익명화된 지원서 자료에서 인구 통계적 특성을 얼마나 잘 유추할 수 있는가? 이는 '무지에 의한 공정성' 접근 방식을 약화시킬 수 있는가?
• RQ4 학교 교육청의 맥락이 흑인 비율이 높은 지역에서 백인 비율이 높은 지역으로 변경되었을 때 모델의 출력은 어떻게 변화하는가?
• RQ5 대응 실험 기법이 고위험 채용 결정에서 LLM의 편향을 감시하는 데 신뢰할 수 있는 방법이 될 수 있는가?

주요 결과

• 연구에서 LLM이 생성한 채용 추천에서 여성과 소수민족에게 유리한 중간 정도의 인종 및 성별 격차를 발견함.
• 이러한 격차는 다양한 모델 지침, 입력 유형(예: 이력서만), 학교 교육청 맥락의 변화에 대해 강건함.
• 이름과 대명사를 입력에서 제거한 후에도 LLM은 여전히 차별적인 평가를 내림으로써, 암묵적 신호를 통해 인구 통계적 추론이 일어남을 시사함.
• 익명화된 입력 자료에서 인구 통계적 특성을 추론할 수 있다는 점은 '무지에 의한 공정성' 전략이 편향을 방지하는 데 부적절함을 시사함.
• 버지니아 주의 흑인 비율이 높은 지역으로 교육청을 대체한 경우에도 격차가 지속됨으로써, 지역적 특성에 기인한 효과는 아님을 확인함.
• 결과적으로 대응 실험 기법이 LLM의 알고리즘 편향을 탐지할 수 있음을 입증하며, 규제 감시에 실용적인 도구를 제공함.