[논문 리뷰] Selection Problems in the Presence of Implicit Bias

Jon Kleinberg, Manish Raghavan|arXiv (Cornell University)|2018. 01. 04.

Names, Identity, and Discrimination ResearchSocial Sciences인용 수 21

한 줄 요약

이 논문은 은둔적 편향이 채용 선택 결정에 미치는 영향을 분석하기 위한 이론적 모델을 제안한다. 특히, 소수자 집단에서 최소한 한 명의 후보자가 면접을 보도록 요구하는 '루니 규칙'에 대해 평가한다. 이는 편향의 크기, 소수자 비율, 후보자 능력 분포와 같은 특정 조건 하에서 루니 규칙이 편향 평가를 교정함으로써 다양성과 조직의 수익성을 동시에 향상시킬 수 있음을 보여준다.

ABSTRACT

Over the past two decades, the notion of implicit bias has come to serve as an important component in our understanding of discrimination in activities such as hiring, promotion, and school admissions. Research on implicit bias posits that when people evaluate others -- for example, in a hiring context -- their unconscious biases about membership in particular groups can have an effect on their decision-making, even when they have no deliberate intention to discriminate against members of these groups. A growing body of experimental work has pointed to the effect that implicit bias can have in producing adverse outcomes. Here we propose a theoretical model for studying the effects of implicit bias on selection decisions, and a way of analyzing possible procedural remedies for implicit bias within this model. A canonical situation represented by our model is a hiring setting: a recruiting committee is trying to choose a set of finalists to interview among the applicants for a job, evaluating these applicants based on their future potential, but their estimates of potential are skewed by implicit bias against members of one group. In this model, we show that measures such as the Rooney Rule, a requirement that at least one of the finalists be chosen from the affected group, can not only improve the representation of this affected group, but also lead to higher payoffs in absolute terms for the organization performing the recruiting. However, identifying the conditions under which such measures can lead to improved payoffs involves subtle trade-offs between the extent of the bias and the underlying distribution of applicant characteristics, leading to novel theoretical questions about order statistics in the presence of probabilistic side information.

연구 동기 및 목표

• 은둔적 편향이 채용 및 유사한 과정의 선택 결정에 미치는 영향을 체계화하기.
• 루니 규칙과 같은 절차적 조치가 표현의 질과 조직적 결과를 동시에 향상시킬 수 있는지 분석하기.
• 은둔적 편향이 존재하는 상황에서 루니 규칙이 선택된 후보자의 기대 능력을 높이는 조건을 규명하기.
• 편향 강도, 소수자 비율, 후보자 능력 분포 간의 상호작용이 선택 결과에 미치는 영향을 탐색하기.
• 선택 과정에서 공정성과 성과를 동시에 향상시키는 루니 규칙의 이론적 조건 유도하기.

제안 방법

• 평가자가 특정 집단에 대해 은둔적 편향을 지닌 채용 시나리오를 모델링하며, 이는 후보자의 잠재력 평가에 왜곡을 초래한다.
• 독립 동일분포 랜덤 변수의 순서통계량을 사용해 후보 평가의 분포를 모델링하며, 한 집단은 편향의 영향을 받는다.
• 편향의 크기, 소수자 확산률, 후보자 능력 기준값을 포함하는 세 가지 매개변수를 포함한 형식적 조건을 도입한다.
• 순서통계량의 확률적 경계(예: Pr[X_{(n-1:n)} ≥ T ∩ Y_{(n-1:n)} ≥ T] ≤ 2nF(T)^{n-1})를 적용하여 높은 능력의 소수자 후보가 간과될 가능성을 분석한다.
• 조건부 기대값 분석을 통해 루니 규칙 유무에 따른 선택된 후보의 기대 능력 수준을 비교한다.
• 높은 성과를 보이는 후보자에 대한 절단 분포 모델을 사용해 루니 규칙 하에서 후보 능력 향상의 하한을 이론적으로 유도한다.

실험 결과

연구 질문

• RQ1 은둔적 편향이 존재하는 상황에서 루니 규칙이 선택된 후보자의 기대 능력을 향상시키는 조건은 무엇인가?
• RQ2 편향 강도, 소수자 비율, 후보자 능력 분포 간의 상호작용이 루니 규칙의 효과성에 어떻게 영향을 미치는가?
• RQ3 다수자 집단의 후보자가 평균적으로 더 강력한데도 불구하고, 편향에 기인한 오류로 인해 조직 수익이 증가할 수 있는가?
• RQ4 예를 들어 기준값과 같은 확률적 보조 정보가 다양성을 유지하는 선택 규칙의 성공에 어떤 역할을 하는가?
• RQ5 편향 강도와 소수자 비율에서 루니 규칙이 유익에서 해로운 것으로 전환되는 날카운 임계점이 존재하는가?

주요 결과

• 편향의 크기가 충분히 크고, 자격을 갖춘 소수자 후보의 수가 충분히 많을 경우, 루니 규칙은 선택된 후보의 기대 능력을 높일 수 있다.
• 편향 강도와 소수자 비율의 곱이 후보자 능력 분포와 관련된 임계값을 초과할 때만 루니 규칙이 결과를 향상시킨다는 날카운 임계점이 존재한다.
• 루니 규칙 하에서 후보 능력 향상의 기대값은 F(T) + η)^{n-1}에 비례하는 하한으로 제한되며, 여기서 F(T)는 기준값 T에서의 후보자 능력 누적분포이다.
• 모델은 다수자 집단의 후보자가 평균적으로 더 강력한 경우에도, 루니 규칙이 편향에 기인한 오류를 교정하고 더 나은 종합적 선택 결과를 이끌 수 있음을 보여준다.
• 분석 결과, 루니 규칙의 효과성은 편향과 비율 뿐 아니라, 특히 꼬리 행동을 포함한 기초적인 능력 분포의 형태에 따라 달라진다는 것이 드러났다.
• 순서통계량에 대한 이론적 경계(예: Pr[X_{(n-1:n)} ≥ T ∩ Y_{(n-1:n)} ≥ T] ≤ 2nF(T)^{n-1})는 높은 능력의 소수자 후보가 간과될 위험을 정량화하는 데 필수적이다.