[论文解读] Individual Fairness in Pipelines

Cynthia Dwork, Christina Ilvento+1 more|arXiv (Cornell University)|Jan 1, 2020

Ethics and Social Impacts of AI参考文献 23被引用 11

一句话总结

本文提出了一种正式框架，用于确保流水线系统中的个体公平性——即在分阶段筛选或选择个体的顺序工作流中，后续决策依赖于群体构成。研究表明，由于群体依赖的评分机制，仅在组件层面公平的系统仍可能导致任意不公平的结果。为此，本文提出了一种对多种未来评分策略均保持公平的稳健群体选择机制，通过确保相似个体在群体上下文中的相似性来实现。

ABSTRACT

It is well understood that a system built from individually fair components may not itself be individually fair. In this work, we investigate individual fairness under pipeline composition. Pipelines differ from ordinary sequential or repeated composition in that individuals may drop out at any stage, and classification in subsequent stages may depend on the remaining "cohort" of individuals. As an example, a company might hire a team for a new project and at a later point promote the highest performer on the team. Unlike other repeated classification settings, where the degree of unfairness degrades gracefully over multiple fair steps, the degree of unfairness in pipelines can be arbitrary, even in a pipeline with just two stages. Guided by a panoply of real-world examples, we provide a rigorous framework for evaluating different types of fairness guarantees for pipelines. We show that naïve auditing is unable to uncover systematic unfairness and that, in order to ensure fairness, some form of dependence must exist between the design of algorithms at different stages in the pipeline. Finally, we provide constructions that permit flexibility at later stages, meaning that there is no need to lock in the entire pipeline at the time that the early stage is constructed.

研究动机与目标

• 解决算法公平性中的关键空白：即流水线中个体公平的组件仍可能因群体依赖的决策而产生不公平结果。
• 为因群体过滤和上下文敏感评分而不同于标准顺序组合的流水线系统形式化公平性保证。
• 证明标准审计无法检测流水线中的系统性不公平，尤其是在群体选择利用未来评分策略时。
• 构建对广泛未来评分函数具有鲁棒性的群体选择机制，即使这些函数在初始选择后才被确定。

提出的方法

• 提出一种包含个体公平约束的群体流水线形式化模型，区分无条件公平与条件公平度量。
• 引入条件鲁棒性作为公平性保证，确保最终结果分布在任意下游评分策略下仍保持公平。
• 定义一种“质量对称”群体选择机制，确保相似个体被分配至允许群体上的相似分布。
• 通过结果分布度量空间上的利普希茨连续性，形式化在期望评分与质量移动距离（MMD）度量下的公平性。
• 证明条件鲁棒性可推出无条件鲁棒性，其常数为（α + 1），从而实现公平性保证的可迁移性。
• 提供可构造方法，通过在早期群体设计中编码公平性约束，为后期评分保留灵活性。

实验结果

研究问题

• RQ1 流水线中个体公平的组件是否仍可能因群体依赖评分而产生不公平的整体结果？
• RQ2 为何标准审计无法检测到流水线系统中的不公平，即使各独立组件本身是公平的？
• RQ3 群体选择需满足何种结构条件，才能确保在多种下游评分策略下保持公平？
• RQ4 如何设计群体选择机制，使其对未来的、未知的评分函数具有鲁棒性，同时保持公平？
• RQ5 何种数学框架（如MMD、期望评分）最能捕捉流水线组合中的公平性？

主要发现

• 对流水线中公平性的朴素审计无法检测系统性不公平，因为恶意流水线可在每一阶段表现公平，却仍导致偏见结果。
• 流水线中的不公平程度可能任意大——即使仅有两个阶段——与标准顺序组合中的渐进退化形成鲜明对比。
• 对下游评分策略的鲁棒性要求：相似个体必须被分配至相似的群体上下文分布，而不仅仅是相似的结果。
• 条件鲁棒性（给定群体下的公平性）可推出无条件鲁棒性（整体公平性），其常数为（α + 1），从而实现公平性保证的可迁移。
• 质量移动距离（MMD）在衡量公平性方面至少与期望评分一样强，且满足 |E[X1]−E[X2]| ≤3MMD(X1,X2)，为公平性评估提供更紧的界。
• 本文构造了对丰富评分策略族具有鲁棒性的群体选择机制，仅需简单策略描述，即可在不损害公平性的前提下，为后期决策保留灵活性。