[논문 리뷰] Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices

Manish Raghavan, Solon Barocas외 2명|arXiv (Cornell University)|2019. 06. 21.

Ethics and Social Impacts of AI참고 문헌 45인용 수 140

한 줄 요약

이 논문은 알고리즘적 채용 사전 평가의 18개 공급업체를 분석하여 개발/검증 관행, 편향 주장, 법적 고려사항을 문서화하고 이러한 도구가 공정성을 얼마나 다루는지 평가한다.

ABSTRACT

There has been rapidly growing interest in the use of algorithms in hiring, especially as a means to address or mitigate bias. Yet, to date, little is known about how these methods are used in practice. How are algorithmic assessments built, validated, and examined for bias? In this work, we document and analyze the claims and practices of companies offering algorithms for employment assessment. In particular, we identify vendors of algorithmic pre-employment assessments (i.e., algorithms to screen candidates), document what they have disclosed about their development and validation procedures, and evaluate their practices, focusing particularly on efforts to detect and mitigate bias. Our analysis considers both technical and legal perspectives. Technically, we consider the various choices vendors make regarding data collection and prediction targets, and explore the risks and trade-offs that these choices pose. We also discuss how algorithmic de-biasing techniques interface with, and create challenges for, antidiscrimination law.

연구 동기 및 목표

• 벤더가 알고리즘적 사전 채용 평가를 어떻게 개발, 검증 및 공개하는지 확인한다.
• 벤더가 데이터 사용, 목표 변수, 검증 및 편향 완화에 대해 공개하는 내용을 문서화한다.
• 벤더의 관행이 차별 금지법 및 산업 표준과의 정합성을 평가한다.
• 편향, 검증 및 합법성에 관한 산업 규범의 격차와 긴장을 확인한다.

제안 방법

• Crunchbase, Upturn, and RedThread Research를 통해 알고리즘적 사전 채용 평가를 제공하는 벤더를 체계적으로 식별한다.
• 벤더 웹사이트에서 평가 유형, 목표 변수, 학습 데이터, 검증 및 공정성 주장에 대해 공개적으로 공개된 정보를 추출한다.
• 데이터 선택, 검증 절차 및 편향 완화 분석을 위해 머신러닝 파이프라인에 따라 관행을 분류한다.
• Title VII, Uniform Guidelines on Employment Selection Procedures, 및 4/5 규칙과 같은 법적 프레임워크와 벤더 주장을 비교한다.
• 데이터 소스, 목표 결과 및 대안 평가 형식(예: 게임, 비디오)과 관련된 기술적 도전을 종합한다.

실험 결과

연구 질문

• RQ1 벤더가 제공하는 사전 채용 평가의 유형은 무엇인가?
• RQ2 벤더는 이 평가를 위해 어떤 목표 변수와 학습 데이터를 선택하는가?
• RQ3 벤더는 어떤 검증 절차를 공개하며 이는 고객 맞춤형으로 어떻게 조정되는가?
• RQ4 벤더는 어떤 편향/공정성 주장을 제시하며 편향 완화에 어떤 방법을 사용하는가?
• RQ5 법적 기준은 벤더의 관행 및 부적용 영향 평가에 어떤 영향을 미치는가?

주요 결과

• 18개의 알고리즘적 사전 채용 평가 벤더를 식별하고 분석했다.
• 평가 유형으로는 질문, 비디오 인터뷰, 게임 플레이가 포함되며 많은 벤더가 데이터 사용 및 목표에 대한 맞춤화를 제공한다.
• 검증 정보는 종종 불명확하거나 제한적이며, 일부 벤더는 검증 연구나 인구통계학적 감사를 게시하고 다른 벤더는 구체적으로 제시하지 않는다.
• 다수의 벤더가 편향 또는 부적합 영향과 4/5 규칙 준수를 언급하며, 편향 제거 접근 방식은 구체성에서 차이가 있다.
• 두 가지 큰 공정성 전략이 나타난다: 자연스럽게 편향이 없는 설계로 동등한 점수 분포를 목표로 하는 방식과 보호 속성과 상관된 특징을 약화/제거하는 적극적 편향 제거 방식.
• 산업 관행은 이질성과 진화하는 규범을 보이며 모델 유효성 및 데이터 출처에 대한 공개 투명이 제한적이다.