[论文解读] Confidence Intervals for Testing Disparate Impact in Fair Learning

Philippe Besse, Eustasio del Barrio+2 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Causal Inference Techniques参考文献 10被引用 6

一句话总结

本文使用Delta方法推导了关键公平性度量的渐近分布——特别是差异影响（DI）和条件准确率（CA1）——从而为机器学习中基于群体的歧视性统计检验提供了有效的置信区间。作者主张用置信区间替代单一的公平性评分，以减少对不公平性的误判。

ABSTRACT

We provide the asymptotic distribution of the major indexes used in the statistical literature to quantify disparate treatment in machine learning. We aim at promoting the use of confidence intervals when testing the so-called group disparate impact. We illustrate on some examples the importance of using confidence intervals and not a single value.

研究动机与目标

• 通过用置信区间替代单一的公平性评分，解决公平性评估中缺乏统计严谨性的问题。
• 在Delta方法框架下，为诸如差异影响（DI）和条件准确率（CA1）等主要公平性度量提供渐近分布。
• 通过将不确定性量化纳入公平性检验，降低误报歧视指控的风险。
• 推动将置信区间作为公平性评估中的标准实践，超越启发式或重采样方法。
• 为具有保护属性的二分类问题中的公平性度量建立理论基础坚实、渐近有效的统计推断方法。

提出的方法

• 应用Delta方法，通过变换样本比例的联合分布，推导公平性度量的渐近分布。
• 将预测、结果和保护属性的指示变量的联合分布建模为具有已知均值和协方差的四维向量。
• 将公平性度量（如DI = (P(Y=1|S=0) / P(Y=1|S=1))）定义为概率之比，表示为经验比例的函数φ。
• 利用中心极限定理，建立四维指示变量样本均值的渐近正态性。
• 应用Delta方法，推导变换后度量（如DI或CA1）的渐近分布，其为均值和方差由梯度与协方差矩阵导出的正态分布。
• 通过变换函数φ的梯度和经验比例的协方差矩阵，推导公平性度量的渐近方差。

实验结果

研究问题

• RQ1 如何在具备适当不确定性量化的前提下，对机器学习模型中的差异影响进行统计检验？
• RQ2 在标准抽样假设下，差异影响（DI）度量的渐近分布是什么？
• RQ3 是否可以在不依赖重采样或高斯近似的情况下，推导出公平性度量的置信区间？
• RQ4 条件准确率（CA1）的渐近分布与差异影响的渐近分布相比如何？
• RQ5 与点估计相比，使用置信区间在检测虚假歧视指控方面有何影响？

主要发现

• 通过Delta方法推导出差异影响（DI）度量的渐近分布，从而可为统计检验提供有效的置信区间。
• 同样推导出条件准确率（CA1）度量的渐近分布，使公平性评估中的不确定性量化成为可能。
• 显式计算了四维指示变量向量的协方差矩阵，考虑了预测、结果和保护属性指示变量之间的依赖关系。
• 公平性度量的渐近方差由变换函数的梯度和经验协方差矩阵导出，提供了闭式表达式。
• 该方法避免了重采样或高斯假设，为现有方法提供了理论基础坚实的替代方案。
• 结果表明，仅依赖点估计可能导致误报的歧视指控，而置信区间有助于缓解此类问题。