[论文解读] Fast Threshold Tests for Detecting Discrimination

Emma Pierson, Sam Corbett‐Davies+1 more|arXiv (Cornell University)|Feb 27, 2017

Statistical Methods and Inference参考文献 26被引用 16

一句话总结

本文引入了判别分布——一种在[0,1]区间上计算高效的连续分布族——以加速检测歧视的阈值检验中的贝叶斯推断。通过在阈值检验模型中用判别分布替代贝塔分布，作者将推断速度提升了75倍以上，将计算时间从数小时缩短至数分钟，从而实现了对大规模数据集（如270万条纽约市警察拦截记录和2200万条全国交通拦截记录）的可扩展分析。

ABSTRACT

Threshold tests have recently been proposed as a useful method for detecting bias in lending, hiring, and policing decisions. For example, in the case of credit extensions, these tests aim to estimate the bar for granting loans to white and minority applicants, with a higher inferred threshold for minorities indicative of discrimination. This technique, however, requires fitting a complex Bayesian latent variable model for which inference is often computationally challenging. Here we develop a method for fitting threshold tests that is two orders of magnitude faster than the existing approach, reducing computation from hours to minutes. To achieve these performance gains, we introduce and analyze a flexible family of probability distributions on the interval [0, 1] -- which we call discriminant distributions -- that is computationally efficient to work with. We demonstrate our technique by analyzing 2.7 million police stops of pedestrians in New York City.

研究动机与目标

• 解决在歧视检测中拟合贝叶斯潜变量模型进行阈值检验时的计算不可行性问题。
• 开发一种灵活且计算高效的[0,1]区间分布族，以实现在阈值检验中的快速推断。
• 将阈值检验扩展至大规模数据集，如270万条纽约市警察拦截记录和2200万条全国交通拦截记录。
• 将阈值检验扩展至部分可观测的决策，如对行人的拦截决策。
• 提升政策分析师在计算资源有限情况下的阈值检验可及性。

提出的方法

• 引入判别分布——一种对数正态混合分布的子集——作为阈值检验中贝塔分布的替代品。
• 设计判别分布，使其累积分布函数（CDF）和条件期望具有解析可解性与计算高效性。
• 用基于判别分布的更快运算替代哈密顿蒙特卡洛（HMC）中条件贝塔分布的昂贵梯度计算。
• 使用贝叶斯分层建模，将改进后的阈值检验应用于可观测决策（如搜查结果）和部分可观测决策（如拦截决策）。
• 采用HMC推断与判别分布结合，实现完整的贝叶斯后验推断，其模型拟合效果优于变分近似方法。
• 通过稳健性检验验证性能，包括对行人种族构成的不同假设以及后预测检查。

实验结果

研究问题

• RQ1 是否能通过一种新的[0,1]区间连续分布族，显著加速歧视检测中阈值检验的贝叶斯推断？
• RQ2 在阈值检验模型中，用判别分布替代贝塔分布是否能在减少计算时间的同时保持或提升模型拟合效果？
• RQ3 能否将阈值检验扩展至仅部分可观测的决策（如对行人的拦截决策）以检测偏见？
• RQ4 在不同行人种族构成假设下，推断出的阈值稳定性如何？
• RQ5 该加速方法是否可应用于此前因计算限制而无法分析的全国规模数据集？

主要发现

• 与原始基于贝塔分布的模型相比，判别分布模型将推断时间减少了77倍，将拦截模型的拟合时间从15,943秒缩短至208秒。
• 该加速使我们能在不到一天时间内运行近100次稳健性检查——相当于原始方法下需约两个月的串行计算量——实现了显著加速。
• 采样效率提升了75倍，每有效样本的采样速度加快84倍，积分步长处理速度加快37倍。
• 稳健性检查显示，在不同种族构成假设下，非裔和西裔行人的推断阈值始终低于白人行人，其中非裔阈值为0.8–1.2%，西裔为1.8–2.1%，而白人为5.7–6.1%。
• 与使用贝塔分布的变分推断相比，使用判别分布的HMC推断显著提升了模型拟合效果，拦截率的RMSE降低4倍（0.2% vs. 0.9%），命中率的RMSE降低2倍（0.7% vs. 1.3%）。
• 该方法使我们能在30分钟内完成对2200万条全国交通拦截记录的单一全国模型拟合，而此前由于计算限制，必须对州级数据进行拆分处理。