[论文解读] On preserving non-discrimination when combining expert advice

Avrim Blum, Suriya Gunasekar+2 more|arXiv (Cornell University)|Oct 28, 2018

Ethics and Social Impacts of AI参考文献 37被引用 5

一句话总结

本文研究了在在线学习设置中如何组合个体上非歧视性的预测器，而不会违反公平性，表明相等奇偶性（equalized odds）与无遗憾学习从根本上不相容，而通过群体特定的乘法权重可以保持相等误差率。令人惊讶的是，在自适应设置中更强的遗憾保证会破坏公平性，即使预测器本身是单独公平的。

ABSTRACT

We study the interplay between sequential decision making and avoiding discrimination against protected groups, when examples arrive online and do not follow distributional assumptions. We consider the most basic extension of classical online learning: "Given a class of predictors that are individually non-discriminatory with respect to a particular metric, how can we combine them to perform as well as the best predictor, while preserving non-discrimination?" Surprisingly we show that this task is unachievable for the prevalent notion of "equalized odds" that requires equal false negative rates and equal false positive rates across groups. On the positive side, for another notion of non-discrimination, "equalized error rates", we show that running separate instances of the classical multiplicative weights algorithm for each group achieves this guarantee. Interestingly, even for this notion, we show that algorithms with stronger performance guarantees than multiplicative weights cannot preserve non-discrimination.

研究动机与目标

• 研究在线学习中的自适应性与对受保护群体的非歧视性之间的相互作用。
• 确定组合个体上非歧视性的预测器是否能在实现无遗憾性能的同时保持公平性。
• 评估在非独立同分布的在线设置中，不同公平性定义（相等奇偶性与相等误差率）的可行性。
• 识别在自适应决策和环境变化下仍能保持公平性的条件。
• 探索在线学习算法中性能保证与公平性之间的权衡。

提出的方法

• 作者分析了一类相对于公平性度量为个体非歧视性的预测器的在线学习。
• 他们使用乘法权重算法，为每个群体分别运行实例，以在相等误差率下保持公平性。
• 对于相等奇偶性，他们构建了对抗性示例，表明无论仅有两个预测器和两个群体，无遗憾算法不可避免地违反公平性。
• 他们引入了一种针对移动比较器的近似遗憾概念，定义为 $\operatorname{\mathbb{E}}[\text{ApxReg}_{\epsilon,T}(f^\star)] = O(\frac{K(f^\star) \cdot \ln(dT)}{\epsilon})$，其中 $K(f^\star)$ 计算最优专家序列中的切换次数。
• 他们证明，任何实现 $K(f^\star) = 2$ 时近似遗憾趋近于零的算法，都无法在相等误差率下保持公平性，即使预测器本身是单独公平的。
• 该证明使用了一个三阶段对抗性实例：第一阶段在群体 A 上，损失平衡；第二阶段和第三阶段在群体 B 上，专家顺序切换，显示群体 B 的误差率降至 $\nicefrac{1}{2} - \alpha$ 以下。

实验结果

研究问题

• RQ1 我们能否在在线学习中组合个体上非歧视性的预测器，同时保持公平性并实现无遗憾性能？
• RQ2 相等奇偶性是否与非独立同分布的在线学习中的无遗憾学习兼容？
• RQ3 能否使用标准在线学习算法（如乘法权重）来保持相等误差率？
• RQ4 在自适应在线学习中，强性能保证（如低近似遗憾）与公平性之间的权衡是什么？
• RQ5 是否存在在非独立同分布的序列决策环境中既可行又稳健的公平性定义？

主要发现

• 在在线学习中，即使仅有两个预测器和两个群体，也无法在实现无遗憾性能的同时保持相等奇偶性（即要求各群体的假正例率和假负例率相等）。
• 对于相等误差率，为每个群体分别运行乘法权重实例可以保持公平性并实现无遗憾性能。
• 任何实现对 $K(f^\star) = 2$ 的移动比较器近似遗憾趋近于零的算法，都无法在相等误差率下保持公平性，即使预测器本身是单独公平的。
• 一个群体的误差率可被驱动至低于 $\nicefrac{1}{2} - \alpha$（对任意 $\alpha < \nicefrac{1}{2}$），而另一群体的误差率至少保持在 $\nicefrac{1}{2}$，从而违反公平性。
• 即使最优专家序列中的切换次数最少，该不可能性结果依然成立，表明强性能保证与相等误差率下的公平性本质上存在冲突。
• 结果表明，具有强遗憾保证的算法在组合时与公平性不相容，意味着‘性能过好’可能在在线环境中破坏公平性。