[논문 리뷰] Efficient candidate screening under multiple tests and implications for fairness

Lee S. Cohen, Zachary C. Lipton외 1명|arXiv (Cornell University)|2019. 05. 27.

Game Theory and Voting Systems인용 수 8

한 줄 요약

이 논문은 다수의 노이즈 있는 테스트 하에서 최적의 후보 선별을 다루며, 거짓 긍정을 최소화하면서 공정성을 유지하는 동적 및 고정 테스트 정책을 제안한다. 이는 인구 집단 간 테스트 노이즈가 다를 경우 동일한 테스트 규칙과 결과를 적용하는 것이 본질적으로 불가능하다는 것을 보여주며, 채용 시스템에서의 근본적인 공정성 트레이드오프를 드러낸다.

ABSTRACT

When recruiting job candidates, employers rarely observe their underlying skill level directly. Instead, they must administer a series of interviews and/or collate other noisy signals in order to estimate the worker's skill. Traditional economics papers address screening models where employers access worker skill via a single noisy signal. In this paper, we extend this theoretical analysis to a multi-test setting, considering both Bernoulli and Gaussian models. We analyze the optimal employer policy both when the employer sets a fixed number of tests per candidate and when the employer can set a dynamic policy, assigning further tests adaptively based on results from the previous tests. To start, we characterize the optimal policy when employees constitute a single group, demonstrating some interesting trade-offs. Subsequently, we address the multi-group setting, demonstrating that when the noise levels vary across groups, a fundamental impossibility emerges whereby we cannot administer the same number of tests, subject candidates to the same decision rule, and yet realize the same outcomes in both groups.

연구 동기 및 목표

• 후보자가 단일 신호가 아닌 다수의 노이즈 있는 테스트를 통해 평가될 때 고용주 의사결정을 모델링하기 위해.
• 거짓 긍정 비율에 제약 조건이 있을 때 최적의 스크리닝 정책—고정 및 동적 정책—을 분석하기 위해.
• 동일한 기초 기술 분포를 가졌음에도 불구하고 테스트 노이즈가 인구 집단 간으로 다를 경우의 공정성 영향을 조사하기 위해.
• 노이즈 수준이 비균형일 경우 동일한 테스트 규칙과 결과를 집단 간에 적용하는 것이 본질적으로 불가능하다는 것을 입증하기 위해.
• 거짓 긍정을 최소화하면서 효율성을 유지하고 임계치 조정을 통해 공정성 조정이 가능한 탐욕 정책을 제안하기 위해.

제안 방법

• 근로자 기술과 테스트 결과에 대해 베르누이 및 가우시안 분포를 사용하여 다중 테스트 스크리닝 모델을 수학적으로 정의한다.
• 랜덤화된 임계치 규칙을 통해 최적의 정책을 유도하고, 동적 테스트 과정을 로그 사후 오즈에 대한 갬블러의 망각 문제(Gambler’s ruin problem)로 환원한다.
• 허핑턴 부등식(Hoeffding’s inequality)을 사용하여 매개변수 복구(예: 노이즈 수준 σ, 기본 기술 확률 p)의 추정 오차를 제한한다.
• 통계적 추정 기법을 활용하여 진정한 기술 수준에 대한 액세스 없이도 관측된 테스트 결과로부터 집단 수준의 매개변수(σ, p, μ, ση²)를 추론한다.
• 거짓 음성 비율을 집단 간 동일하게 맞추기 위해 기각 임계치를 조정하는 수정된 탐욕 정책을 제안한다.
• 차별적 영향 이론의 관점에서 공정성을 분석하여, 노이즈 이질성 하에서 동일한 테스트 수와 규칙을 적용할 경우 결과가 비대칭이 된다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 조건부 독립적인 다수의 테스트가 가능할 때, 거짓 긍정 비율 제약 조건 하에서 최적의 고용주 정책은 무엇인가?
• RQ2 이전 결과에 따라 조정되는 동적 테스트 배정 방식은 고정 테스트 정책에 비해 거짓 긍정 및 거짓 음성 비율에 어떤 영향을 미치는가?
• RQ3 기초 기술 분포가 동일함에도 불구하고 테스트 노이즈 수준이 인구 집단 간으로 다를 경우, 공정성에 어떤 영향을 미치는가?
• RQ4 동일한 의사결정 규칙과 테스트 수를 집단 간에 적용할 경우 동일한 결과를 달성할 수 있는가, 아니면 노이즈 이질성 하에서는 본질적으로 불가능한가?
• RQ5 거짓 긍정을 최소화하면서도 거짓 음성 비율을 집단 간 동일하게 맞출 수 있도록 스크리닝 정책을 어떻게 수정할 수 있는가?

주요 결과

• 다중 테스트 환경에서 거짓 긍정 비율 제약 조건 하에 최적의 정책은 사후 오즈 기반의 랜덤화된 임계치 정책이다.
• 동적 테스트의 경우 최적 전략은 고용 가능한 능력이 있는지의 사후 오즈가 수용 가능한 거짓 긍정 비율에 따라 결정되는 임계치를 초과할 때까지 테스트를 계속하는 것이다.
• 동적 테스트 과정은 로그 사후 오즈에 대한 갬블러의 망각 문제로 환원되어 정확한 해를 도출할 수 있다.
• 테스트 노이즈가 집단 간으로 다를 경우, 동일한 수의 테스트, 동일한 의사결정 규칙을 적용하고 동시에 두 집단에서 동일한 결과를 달성하는 것은 불가능하다.
• 탐욕 정책은 평균 채용 당 테스트 수를 최소화하면서 목표 거짓 긍정 비율을 유지하지만, 노이즈가 더 큰 집단에서는 여전히 더 높은 거짓 음성 비율을 초래한다.
• 기각 임계치를 조정함으로써(예: ε′ < p) 탐욕 정책를 더 유연하게 만들 수 있으며, 이는 거짓 음성 비율을 집단 간 동일하게 맞추고, 기회 균등 원칙에 부합하는 공정성을 향상시킬 수 있다.