[论文解读] Does mitigating ML's impact disparity require treatment disparity?

Zachary C. Lipton, Alexandra Chouldechova+1 more|arXiv (Cornell University)|Nov 19, 2017

Advanced Causal Inference Techniques被引用 81

一句话总结

论文分析 Disparate Learning Processes (DLPs) 并显示它们可能间接实现治疗不平等，造成组内歧视，并产生不佳的准确性-不平衡权衡；按组阈值设定可能优于 DLP。

ABSTRACT

Following related work in law and policy, two notions of disparity have come to shape the study of fairness in algorithmic decision-making. Algorithms exhibit treatment disparity if they formally treat members of protected subgroups differently; algorithms exhibit impact disparity when outcomes differ across subgroups, even if the correlation arises unintentionally. Naturally, we can achieve impact parity through purposeful treatment disparity. In one thread of technical work, papers aim to reconcile the two forms of parity proposing disparate learning processes (DLPs). Here, the learning algorithm can see group membership during training but produce a classifier that is group-blind at test time. In this paper, we show theoretically that: (i) When other features correlate to group membership, DLPs will (indirectly) implement treatment disparity, undermining the policy desiderata they are designed to address; (ii) When group membership is partly revealed by other features, DLPs induce within-class discrimination; and (iii) In general, DLPs provide a suboptimal trade-off between accuracy and impact parity. Based on our technical analysis, we argue that transparent treatment disparity is preferable to occluded methods for achieving impact parity. Experimental results on several real-world datasets highlight the practical consequences of applying DLPs vs. per-group thresholds.

研究动机与目标

• 激励并形式化 ML 中治疗平等与影响平等之间的区别。
• 评估 DLPs 是否在不直接使用受保护属性的情况下实现影响平等。
• 描述 DLPs 何时引发间接治疗差异或组内歧视。
• 评估简单的按组阈值在实际中是否能优于 DLP。

提出的方法

• 将二元受保护特征设定正式化，采用 Calders-Verwer (CV) 间隙与 p-% 规则作为影响平等度量。
• 描述在训练阶段使用受保护特征但在预测时不使用的 Disparate Learning Processes (DLPs)。
• 证明在 CV 和 p-% 约束下，为最大化准确性，直接的按组阈值是最优的。
• 表明在相同的平等约束下，DLP 相对于按组阈值的阈值设定是次优的。
• 提供关于何时 X 完全或部分编码 Z 的理论结果及对 DLP 的影响。
• 对合成数据、案例研究数据和公开数据集进行实证分析，以说明实际后果。

实验结果

研究问题

• RQ1 在 CV 和 p-% 约束下，DLP 是否在不引入有害治疗差异的情况下可靠地实现影响平等？
• RQ2 在 CV 和 p-% 约束下，最大化准确性的最优决策规则是什么？
• RQ3 当受保护特征在其他特征中冗余或部分编码时，DLP 相对于按组阈值的表现如何？
• RQ4 简单的按组阈值是否能在真实世界数据集中实现与 DLP 相当或更好的一致性，同时具有更高的准确性？

主要发现

• 存在平等约束时，在受保护属性上直接实现治疗差异以最大化准确性是最优的。
• 如果 X 完全编码 Z，足够强的 DLP 等同于治疗差异。
• 当 Z 仅部分编码在 X 中时，DLP 可能导致组内歧视，并伤害受保护群体的一些成员。
• 与按组阈值相比，DLP 在准确性与影响平等之间的权衡是次优的。
• 对合成数据、CS 入学中的性别偏见案例研究和公开数据集的实证结果显示，阈值设定在相似或更高的准确性下实现更高的平等度。
• 阈值方法在给定准确性下可以达到近似100%的 p-% 平等，在多个数据集中优于基于 DLP 的方法。