[论文解读] Efficient candidate screening under multiple tests and implications for fairness

Lee S. Cohen, Zachary C. Lipton+1 more|arXiv (Cornell University)|May 27, 2019

Game Theory and Voting Systems被引用 8

一句话总结

本文研究在多个噪声测试下最优候选人筛选问题，提出动态与固定测试策略以最小化误报率，同时平衡公平性。研究发现，不同人口群体间测试噪声不均等使得相同的测试规则与结果成为根本不可能实现，揭示了招聘系统中根本性的公平性权衡。

ABSTRACT

When recruiting job candidates, employers rarely observe their underlying skill level directly. Instead, they must administer a series of interviews and/or collate other noisy signals in order to estimate the worker's skill. Traditional economics papers address screening models where employers access worker skill via a single noisy signal. In this paper, we extend this theoretical analysis to a multi-test setting, considering both Bernoulli and Gaussian models. We analyze the optimal employer policy both when the employer sets a fixed number of tests per candidate and when the employer can set a dynamic policy, assigning further tests adaptively based on results from the previous tests. To start, we characterize the optimal policy when employees constitute a single group, demonstrating some interesting trade-offs. Subsequently, we address the multi-group setting, demonstrating that when the noise levels vary across groups, a fundamental impossibility emerges whereby we cannot administer the same number of tests, subject candidates to the same decision rule, and yet realize the same outcomes in both groups.

研究动机与目标

• 建模雇主在候选人通过多个噪声测试而非单一信号进行评估时的招聘决策过程。
• 在误报率约束下，分析最优筛选策略——包括固定与动态策略。
• 研究当测试噪声在不同人口群体间存在差异时（即使潜在技能分布相同）的公平性影响。
• 证明在噪声水平不均等的情况下，跨群体实现完全相同的测试规则与结果在根本上不可能。
• 提出一种贪心策略，以最小化误报率，同时保持效率，并通过阈值调节实现公平性调整。

提出的方法

• 使用伯努利分布和正态分布形式化多测试筛选模型，分别描述工人技能与测试结果。
• 通过随机化阈值规则推导最优策略，并将动态测试过程简化为对数后验似然比上的赌徒破产问题。
• 利用霍夫丁不等式限制参数恢复中的估计误差（例如，噪声水平 σ，基础技能概率 p）。
• 采用统计估计技术，从未知真实技能水平的前提下，从观测到的测试结果中推断群体层面参数（σ, p, μ, ση²）。
• 提出一种改进的贪心策略，通过调整拒绝阈值以实现跨群体误报率相等。
• 通过差别影响学说的视角分析公平性，表明在噪声异质性下，相同的测试次数与规则会导致群体间结果不均等。

实验结果

研究问题

• RQ1 当存在多个条件独立的测试时，雇主在候选人筛选中的最优策略是什么？
• RQ2 与固定测试策略相比，基于先前结果动态调整测试分配的策略如何影响误报率与误报率？
• RQ3 当不同人口群体的测试噪声水平存在差异（即使潜在技能分布相同）时，其公平性影响是什么？
• RQ4 在噪声异质性下，能否通过在各群体中采用相同的决策规则与测试次数实现结果均等？还是这在根本上不可能？
• RQ5 如何修改筛选策略，以在最小化误报率的同时，使各群体的误报率相等？

主要发现

• 在多测试情境下，满足误报率约束的最优策略是基于后验似然比的随机化阈值策略。
• 对于动态测试，最优策略是持续测试，直到高技能的后验似然比超过由可接受误报率决定的阈值。
• 动态测试过程可简化为对数后验似然比上的赌徒破产问题，从而可精确推导解。
• 当测试噪声在不同群体间不同时，无法同时满足相同测试次数、相同决策规则，并实现两组结果完全一致。
• 贪心策略可最小化每名录用者所需的期望测试次数，同时维持目标误报率，但仍导致噪声更大的群体误报率更高。
• 通过调整拒绝阈值（例如，设置 ε′ < p），贪心策略可被调整为更具包容性，以实现跨群体误报率相等，从而在机会均等原则下提升公平性。