[论文解读] Distribution-Specific Auditing For Subgroup Fairness

Daniel Hsu, Jizhou Huang+1 more|arXiv (Cornell University)|Jan 1, 2024

Bayesian Modeling and Causal Inference被引用 1

一句话总结

该论文首次提出了在特征服从高斯分布时，针对二值分类器子组公平性审计的多项式时间近似方案（PTAS），利用了同质半空间无害学习的最新进展。研究表明，在高斯假设下，对由线性阈值定义的子组进行公平性违规行为的高效审计是可能的，但强密码学假设表明，对于一般半空间子组，存在根本性限制。

ABSTRACT

We study the problem of auditing classifiers for statistical subgroup fairness. Kearns et al. [Kearns et al., 2018] showed that the problem of auditing combinatorial subgroups fairness is as hard as agnostic learning. Essentially all work on remedying statistical measures of discrimination against subgroups assumes access to an oracle for this problem, despite the fact that no efficient algorithms are known for it. If we assume the data distribution is Gaussian, or even merely log-concave, then a recent line of work has discovered efficient agnostic learning algorithms for halfspaces. Unfortunately, the reduction of Kearns et al. was formulated in terms of weak, "distribution-free" learning, and thus did not establish a connection for families such as log-concave distributions. In this work, we give positive and negative results on auditing for Gaussian distributions: On the positive side, we present an alternative approach to leverage these advances in agnostic learning and thereby obtain the first polynomial-time approximation scheme (PTAS) for auditing nontrivial combinatorial subgroup fairness: we show how to audit statistical notions of fairness over homogeneous halfspace subgroups when the features are Gaussian. On the negative side, we find that under cryptographic assumptions, no polynomial-time algorithm can guarantee any nontrivial auditing, even under Gaussian feature distributions, for general halfspace subgroups.

研究动机与目标

• 为解决在无分布假设设置下，对组合子组进行公平性审计的计算不可行性问题。
• 通过聚焦特定分布（尤其是高斯分布），弥合无害学习进展与公平性审计之间的差距。
• 在高斯特征分布下，为子组公平性提供可证明高效且正确的审计算法。
• 在密码学假设下，识别此类审计的根本限制，即使在有利的分布设定下也是如此。

提出的方法

• 提出一种新颖的审计框架，将公平性审计问题转化为在高斯分布下对同质半空间进行无害学习的问题。
• 将 Diakonikolas 等人提出的同质半空间无害学习的 PTAS 适配用于构建具有加法误差保证的公平性审计器。
• 通过在子组概率质量（从 a 到 b）上进行二分查找，识别出公平性差异最大的子组。
• 使用修改后的基于预言机的循环，迭代优化候选半空间，并通过 n 次迭代的联合界保持集中性。
• 以分布特定的方式应用类似提升的技术，通过在经验样本上操作，避免损失分布属性。
• 依赖引理 3.6，将最大化公平性差异 |dD(c, h)| 等价于优化分歧度量的符号。

实验结果

研究问题

• RQ1 尽管一般问题具有困难性，是否仍可在高斯分布特征下实现子组公平性审计的高效性？
• RQ2 在多大程度上可以利用分布特定的无害学习结果，来构建子组公平性审计的 PTAS？
• RQ3 即使在数据分布表现良好（如高斯分布）的情况下，密码学假设下公平性审计的根本限制是什么？
• RQ4 该框架能否扩展至更丰富的子组族，如在对数凹分布下的通用半空间或合取式子组？

主要发现

• 该论文首次提出在特征为 i.i.d. 高斯分布时，对同质半空间子组进行公平性审计的 PTAS，其运行时间在维度和逆精度上为多项式时间。
• 在高斯假设下，所提算法在高概率 1−δ 下，公平性差异的加法误差界为 2ǫ。
• 该算法成功识别出一个子组 h′，满足 Prx∼D{h′} = 1/2，且 |dN(c, h′)| ≥ maxh∈HN1/2 |dN(c, h)| − 2ǫ。
• 在密码学假设下，即使在高斯特征下，也不存在多项式时间算法能保证对一般半空间子组进行非平凡的审计。
• 该框架揭示了一个关键差距：虽然同质半空间可被高效审计，但在标准假设下，一般半空间仍难以处理。
• 该研究指出，现有针对一般半空间的无害学习方法仍存在常数阶加法误差，限制了其在细粒度公平性审计中的应用。