[论文解读] Measuring Fairness in Ranked Outputs

Ke Yang, Julia Stoyanovich|arXiv (Cornell University)|Oct 26, 2016

Game Theory and Voting Systems被引用 7

一句话总结

本文提出了新颖的排名感知公平性度量——rND、rKL 和 rRD——通过将 nDCG 式的位置加权折扣与传统公平性度量相结合，量化排名输出中的统计均等性。作者在合成数据集和真实数据集（如德国信贷数据集）上验证了这些度量，证明其能检测不公平性，并展示了初步的优化结果，可在保持准确率的同时提升公平性。

ABSTRACT

Ranking and scoring are ubiquitous. We consider the setting in which an institution, called a ranker, evaluates a set of individuals based on demographic, behavioral or other characteristics. The final output is a ranking that represents the relative quality of the individuals. While automatic and therefore seemingly objective, rankers can, and often do, discriminate against individuals and systematically disadvantage members of protected groups. This warrants a careful study of the fairness of a ranking scheme. In this paper we propose fairness measures for ranked outputs. We develop a data generation procedure that allows us to systematically control the degree of unfairness in the output, and study the behavior of our measures on these datasets. We then apply our proposed measures to several real datasets, and demonstrate cases of unfairness. Finally, we show preliminary results of incorporating our ranked fairness measures into an optimization framework, and show potential for improving fairness of ranked outputs while maintaining accuracy.

研究动机与目标

• 开发适用于排名输出的公平性度量，其中排名中的位置影响结果收益。
• 通过引入基于位置的加权方式，量化排名中的统计均等性，解决标准公平性度量在相对排名场景下的局限性。
• 在合成数据集和真实世界数据集上评估所提出的公平性度量，以检测并分析排名系统中的不公平性。
• 探索将公平性度量整合进优化框架，以在不牺牲排名准确率的前提下提升公平性。
• 提供一种原则性、可解释且可问责的方法，用于审计和改进排名系统中的算法公平性。

提出的方法

• 通过在排名场景中应用 nDCG 式的位置加权折扣，将标准统计均等性度量改编为排名上下文，提出三种新的公平性度量——rND、rKL 和 rRD。
• 设计了一种合成数据生成方法，可系统性地控制排名输出中的不公平程度，以实现受控评估。
• 在真实数据集（如德国信贷数据集）上应用公平性度量，使用信贷金额和归一化得分总和作为排名信号，性别/年龄作为受保护群体。
• 将 Zemel 等人 [9] 的公平表征框架适配至排名任务，通过重新定义准确率损失项，使其基于真实排名与估计排名之间每个项目的得分差的平均值。
• 采用多目标优化目标，通过权衡超参数平衡公平性（Lz）、输入空间保真度（Lx）和排名准确率（Ly）。
• 通过收敛性监控评估优化过程中公平性与准确率之间的权衡，使用包括归一化平均得分差和公平性分量在内的指标。

实验结果

研究问题

• RQ1 在排名具有相对性质的背景下，如何有意义地衡量统计均等性公平性？
• RQ2 现有公平性度量在多大程度上无法捕捉排名中的位置依赖性公平性？如何对其进行改进？
• RQ3 排名感知公平性度量能否检测并量化现实世界排名系统（如贷款审批系统）中的不公平性？
• RQ4 是否可能在不显著降低排名准确率的前提下优化排名的公平性？
• RQ5 不同排名信号（如信贷金额与归一化得分总和）如何影响公平性与准确率之间的权衡？

主要发现

• 所提出的排名感知公平性度量——rND、rKL 和 rRD——在合成数据集和真实数据集上均能有效检测并量化不公平性，其中在德国信贷数据集上，rKL 范围为 0.01 至 0.15，rND 范围为 0.05 至 0.41。
• 在德国信贷数据集上，rRD 仅适用于年龄 < 25 的群体，其值范围为 0.08 至 0.12，表明在高排名位置存在可测量但有限的不公平性。
• 使用改进的公平表征框架进行优化，成功将公平性度量（rND、rKL、rRD 和 Lz）降低至较低水平，表明优化过程收敛至更公平的排名。
• 当基于归一化属性总和进行排名时（图6），准确率（以归一化平均得分差衡量）比仅基于信贷金额时（图7）保持得更稳定，表明信号质量会影响公平性-准确率的权衡。
• 优化框架在提升公平性的同时保持准确率方面展现出潜力，但收敛性和计算效率仍是需要进一步研究的挑战。
• 本研究证实，仅通过群体层面的结果比例无法全面评估排名中的公平性，因为排名位置对公平性结果具有关键影响。