[논문 리뷰] What does it mean to solve the problem of discrimination in hiring? Social, technical and legal perspectives from the UK on automated hiring systems

Javier Sánchez‐Monedero, Lina Dencik외 1명|arXiv (Cornell University)|2019. 09. 28.

Digital Economy and Work Transformation인용 수 35

한 줄 요약

본 논문은 세 가지 영국에서 사용되는 자동 채용 시스템(HireVue, Pymetrics, Applied)을 비판적으로 검토하여 이들이 영국 법적 맥락에서 편향 완화의 설계, 검증 및 감사를 어떻게 수행하는지 분석한다.

ABSTRACT

The ability to get and keep a job is a key aspect of participating in society and sustaining livelihoods. Yet the way decisions are made on who is eligible for jobs, and why, are rapidly changing with the advent and growth in uptake of automated hiring systems (AHSs) powered by data-driven tools. Key concerns about such AHSs include the lack of transparency and potential limitation of access to jobs for specific profiles. In relation to the latter, however, several of these AHSs claim to detect and mitigate discriminatory practices against protected groups and promote diversity and inclusion at work. Yet whilst these tools have a growing user-base around the world, such claims of bias mitigation are rarely scrutinised and evaluated, and when done so, have almost exclusively been from a US socio-legal perspective. In this paper, we introduce a perspective outside the US by critically examining how three prominent automated hiring systems (AHSs) in regular use in the UK, HireVue, Pymetrics and Applied, understand and attempt to mitigate bias and discrimination. Using publicly available documents, we describe how their tools are designed, validated and audited for bias, highlighting assumptions and limitations, before situating these in the socio-legal context of the UK. The UK has a very different legal background to the US in terms not only of hiring and equality law, but also in terms of data protection (DP) law. We argue that this might be important for addressing concerns about transparency and could mean a challenge to building bias mitigation into AHSs definitively capable of meeting EU legal standards. This is significant as these AHSs, especially those developed in the US, may obscure rather than improve systemic discrimination in the workplace.

연구 동기 및 목표

• AHS가 보호된 집단에 대한 차별을 탐지하고 완화한다고 주장하는 방식을 평가한다.
• HireVue, Pymetrics, Applied가 어떻게 편향에 대해 설계되고 검증되며 감사되는지 설명한다.
• 영국의 사회적, 법적, 데이터 보호 체계 내에서 편향 완화 관행을 위치시킨다.

제안 방법

• 세 가지 자동 채용 시스템(HireVue, Pymetrics, Applied)의 공개 문서를 검토한다.
• 각 도구가 편향에 대해 어떻게 설계되고 검증되며 감사되는지 설명한다.
• 편향 완화 접근법의 가정과 한계를 분석한다.
• 영국의 평등, 채용 및 데이터 보호 법률 내에서 연구 결과를 맥락화한다.

실험 결과

연구 질문

• RQ1 세 가지 중요한 영국에서 널리 사용되는 AHS가 편향과 차별을 어떻게 이해하고 완화하려고 시도하는지?
• RQ2 이들 AHS의 편향 완화 방법에 내재된 가정과 한계는 무엇인가?
• RQ3 영국의 사회법적 맥 context가 AHS 편향 완화에서 투명성과 EU 데이터 보호 표준 충족 능력에 어떤 영향을 미치는가?
• RQ4 미국에서 개발된 AHS가 영국에서 배치될 때 체계적 차별을 가리거나 은폐할 가능성이 있는가?
• RQ5 영국 법하의 자동 채용에서 투명성과 공정성에 대한 시사점은 무엇인가?

주요 결과

• AHS는 편향을 탐지하고 완화한다고 주장하지만 공개 문서에는 근본적인 가정과 한계가 드러난다.
• HireVue, Pymetrics, Applied의 설계, 검증 및 감사 관행은 투명성과 엄격성 면에서 다양하다.
• 영국의 데이터 보호 및 평등 법은 특정 편향 완화 주장에 도전할 수 있는 독특한 규제 환경을 제시한다.
• 영국 맥 context은 AHS가 투명성과 공정성에 대한 EU 법적 표준을 definitively 충족하는 능력을 약화시킬 수 있다.
• 영국에서 배치될 때 미국에서 개발된 AHS는 체계적 직장 내 차별을 개선하기보다는 은폐할 수 있다.