[论文解读] Fair Sequential Selection Using Supervised Learning Models

Mohammad Mahdi Khalili, Xueru Zhang+1 more|arXiv (Cornell University)|Oct 26, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用 6

一句话总结

本文提出了等额选择（Equal Selection, ES）这一新颖的公平性概念，用于有限职位的顺序选择问题，表明即使在标准公平性度量（如平等机会和统计独立性）下，仍可能导致偏差结果。本文提出一种后处理线性规划方法，以在敏感属性因差分隐私而存在噪声的情况下，依然强制实现ES公平性，确保不同人口群体的选拔率保持均衡。

ABSTRACT

We consider a selection problem where sequentially arrived applicants apply for a limited number of positions/jobs. At each time step, a decision maker accepts or rejects the given applicant using a pre-trained supervised learning model until all the vacant positions are filled. In this paper, we discuss whether the fairness notions (e.g., equal opportunity, statistical parity, etc.) that are commonly used in classification problems are suitable for the sequential selection problems. In particular, we show that even with a pre-trained model that satisfies the common fairness notions, the selection outcomes may still be biased against certain demographic groups. This observation implies that the fairness notions used in classification problems are not suitable for a selection problem where the applicants compete for a limited number of positions. We introduce a new fairness notion, ``Equal Selection (ES),'' suitable for sequential selection problems and propose a post-processing approach to satisfy the ES fairness notion. We also consider a setting where the applicants have privacy concerns, and the decision maker only has access to the noisy version of sensitive attributes. In this setting, we can show that the perfect ES fairness can still be attained under certain conditions.

研究动机与目标

• 为解决有限职位的顺序选择问题中传统群体公平性概念失效的公平性度量空白。
• 证明满足平等机会或统计独立性的预训练模型，在顺序选择场景中仍可能产生歧视性结果。
• 提出一种新的公平性概念——等额选择（ES），确保不同人口群体中合格申请人的被选中概率相等。
• 开发一种基于线性规划的后处理方法，以在任意预训练模型上强制实现ES公平性。
• 分析在差分隐私下敏感属性存在噪声时的公平性，证明在特定条件下仍可实现完美的ES公平性。

提出的方法

• 引入等额选择（ES）作为公平性准则，确保来自任何人口群体的合格申请人被选中的概率相等。
• 通过线性规划制定后处理方法，调整预训练模型的预测结果以满足ES约束。
• 将选择过程建模为顺序决策问题，其中申请人随时间陆续到达，并根据模型得分被接受或拒绝。
• 通过将敏感属性建模为具有差分隐私噪声的版本，考虑隐私保护，使用局部差分隐私量化隐私泄露。
• 推导涉及噪声属性、真实资格和预测结果的联合概率分布，以计算公平性度量。
• 求解一个优化问题，以找到在强制实现各群体间相等选择概率的同时最大化准确率的公平预测器。

实验结果

研究问题

• RQ1 标准公平性概念（如平等机会和统计独立性）是否能确保在有限职位的顺序选择中实现公平？
• RQ2 满足传统公平性标准的预训练模型，在顺序设置中是否仍会导致偏差的选拔结果？
• RQ3 能否定义一种新的公平性概念，以确保在有限职位的顺序选择中实现人口群体的均衡代表性？
• RQ4 当敏感属性存在噪声时，是否可能在差分隐私下实现完美的公平性？
• RQ5 在隐私约束下，所提出的ES公平性方法与现有公平性约束相比，性能如何？

主要发现

• 即使预训练模型满足平等机会或统计独立性，有限职位的顺序设置中，合格非裔美国人的选拔率仍接近零。
• 所提出的等额选择（ES）公平性概念成功平衡了选拔概率，使白人和非裔合格申请人的选拔率几乎相等（分别为0.487和0.480）。
• 在ES公平性下，群体间选拔率的差异被降至零，而在平等机会或无公平性约束下，该差异仍高达0.8以上。
• 当隐私损失ε趋近于无穷时，ES公平性下的公平预测器准确率达到0.66，与平等机会和无公平性基线模型性能一致。
• ES公平性优化问题仅在隐私损失ε超过某一阈值（ε ≥ 2.7）时存在非零解，与理论边界一致。
• 当ε ≥ 3时，ES方法的准确率和公平性表现与平等机会及无公平性基线模型无显著差异，证实了其实际可行性。