[논문 리뷰] What You See Is What You Get? The Impact of Representation Criteria on Human Bias in Hiring

Andi Peng, Besmira Nushi외 4명|arXiv (Cornell University)|2019. 09. 08.

Auction Theory and Applications인용 수 9

한 줄 요약

이 연구는 후보자 명단에서 고정된 비율의 성별 분포라는 표현 기준이 채용 결정에서 인간의 성별 편향에 어떤 영향을 미치는지 조사한다. 아마존 메카니컬 터크를 활용한 통제된 실험을 통해, 세계적 분포가 기울어진 직업에서는 성별 표현 균형이 편향을 완화하지만, 인간의 지속적인 선호가 우세한 분야에서는 그렇지 않음을 발견했으며, 결정자 성별과 작업 복잡도가 결과에 영향을 미친다.

ABSTRACT

Although systematic biases in decision-making are widely documented, the ways in which they emerge from different sources is less understood. We present a controlled experimental platform to study gender bias in hiring by decoupling the effect of world distribution (the gender breakdown of candidates in a specific profession) from bias in human decision-making. We explore the effectiveness of \ extit{representation criteria}, fixed proportional display of candidates, as an intervention strategy for mitigation of gender bias by conducting experiments measuring human decision-makers' rankings for who they would recommend as potential hires. Experiments across professions with varying gender proportions show that balancing gender representation in candidate slates can correct biases for some professions where the world distribution is skewed, although doing so has no impact on other professions where human persistent preferences are at play. We show that the gender of the decision-maker, complexity of the decision-making task and over- and under-representation of genders in the candidate slate can all impact the final decision. By decoupling sources of bias, we can better isolate strategies for bias mitigation in human-in-the-loop systems.

연구 동기 및 목표

• 세계적 분포와 알고리즘 편향과 무관하게 인간의 채용 결정 편향을 분리하고 측정하기 위해.
• 후보자 명단에서 고정된 비율의 성별 표시라는 표현 기준이 인간의 성별 편향을 채용 결정에서 완화할 수 있는지 평가하기 위해.
• 결정자 성별, 작업 복잡도, 과소/과다 표현과 같은 요소가 채용 결과에 어떻게 영향을 미치는지 이해하기 위해.
• 세계적 기여, 알고리즘 기여, 인간 기여를 분리하여 하이브리드 인간-기계 채용 시스템의 편향 원인을 분해하기 위해.
• 표현 기준이 효과적일 때 또는 부적절할 때를 식별함으로써 공정한 채용 시스템 설계에 실증적 근거를 제공하기 위해.

제안 방법

• 다양한 직업을 대상으로 채용 결정을 시뮬레이션하기 위해 아마존 메카니컬 터크를 활용한 대규모 통제 실험을 수행하였다.
• 동일한 자격을 가진 후보자 프로필을 제작하였고, 성별과 대명사를 무작위로 배정하여 각 명단에서 고정된 성별 비율을 유지하였다.
• 표현 기준을 적용하기 위해 후보자 명단이 사전에 정의된 성별 분포(예: 50-50, 3-97)를 가져가도록 하여 표현의 영향을 분리하였다.
• 참가자들에게 8명의 후보자 중 상위 4명을 순위 매기도록 요청하여 추천 작업을 시뮬레이션하였다.
• 실제 세계적 성별 분포와 워드 임베딩 기반으로 학습된 AI 모델을 사용한 기준 대비 결과를 비교하여 간섭 없이 편향을 평가하였다.
• 결정자 성별과 직업을 기준으로 데이터를 분석하여 의사결정에 영향을 미칠 수 있는 혼란 요인을 평가하였다.

실험 결과

연구 질문

• RQ1 후보자 명단에서 성별 표현을 균형 있게 유지하면 인간의 성별 편향이 채용 결정에서 완화되는가?
• RQ2 다른 기초 성별 분포를 가진 직업들 사이에서 표현 기준의 효과성이 어떻게 다를까?
• RQ3 표현 기준이 편향을 줄이지 못하는 직업에서는 과소 대상 성별의 과다 표현이 결과를 향상시키는가?
• RQ4 결정자의 개인적 특성—특히 성별—이 채용 추천에 어떤 영향을 미치는가?
• RQ5 작업 복잡도와 후보자 명단 구성(예: 과소 또는 과다 표현)이 인간의 채용 의사결정에 어떻게 영향을 미치는가?

주요 결과

• 세계적 분포가 크게 기울어진 직업, 예를 들어 소프트웨어 공학이나 법학 분야에서는 표현 기준이 성별 편향을 상당히 감소시킨다.
• 수리, 건설과 같은 직업처럼 인간의 지속적인 선호가 존재하는 분야에서는 명단의 성별 분포를 균형 있게 유지하더라도 표현 기준이 편향을 수정하지 못한다.
• 결정자의 성별이 결과에 영향을 미친다: 일부 직업에서는 여성 결정자가 남성 결정자보다 편향이 적은 경향이 있으나, 영향은 다양하다.
• 작업 복잡도와 후보자 명단의 과소 또는 과다 표현 정도가 채용 결정에 혼란을 줄 수 있으며, 과소 표현은 편향을 악화시킨다.
• 여성의 과다 표현(예: 남성 우세 분야에서 50% 여성)이 항상 공정성 결과를 향상시키는 것은 아니며, 특히 깊이 뿌리내린 선호가 존재하는 분야에서는 더욱 그렇다.
• 이 연구는 표현 기준이 만능 해결책이 아니며, 그 효과는 세계적 분포, 인간의 선호, 결정자 특성 간의 상호작용에 따라 달라진다는 것을 입증한다.