[论文解读] Equity of Attention: Amortizing Individual Fairness in Rankings

Asia J. Biega, Krishna P. Gummadi+1 more|arXiv (Cornell University)|May 4, 2018

Ethics and Social Impacts of AI参考文献 35被引用 27

一句话总结

本文通过在线优化框架，在多个排名中分摊公平性，提出注意力公平性这一公平性概念，确保排名中受关注的主体所获注意力与其相关性成比例。该方法将问题形式化为整数线性规划，实验证明在真实数据集上显著提升了个体公平性，同时未牺牲排名质量。

ABSTRACT

Rankings of people and items are at the heart of selection-making, match-making, and recommender systems, ranging from employment sites to sharing economy platforms. As ranking positions influence the amount of attention the ranked subjects receive, biases in rankings can lead to unfair distribution of opportunities and resources, such as jobs or income. This paper proposes new measures and mechanisms to quantify and mitigate unfairness from a bias inherent to all rankings, namely, the position bias, which leads to disproportionately less attention being paid to low-ranked subjects. Our approach differs from recent fair ranking approaches in two important ways. First, existing works measure unfairness at the level of subject groups while our measures capture unfairness at the level of individual subjects, and as such subsume group unfairness. Second, as no single ranking can achieve individual attention fairness, we propose a novel mechanism that achieves amortized fairness, where attention accumulated across a series of rankings is proportional to accumulated relevance. We formulate the challenge of achieving amortized individual fairness subject to constraints on ranking quality as an online optimization problem and show that it can be solved as an integer linear program. Our experimental evaluation reveals that unfair attention distribution in rankings can be substantial, and demonstrates that our method can improve individual fairness while retaining high ranking quality.

研究动机与目标

• 解决排名中位置偏差的根本问题，该问题不成比例地减少了低排名主体的注意力。
• 提出一种聚焦于个体而非群体的公平性度量，涵盖群体层面的公平性。
• 开发一种机制，实现在时间维度上分摊公平性，确保在一系列排名中注意力与相关性成比例。
• 在影响生计的平台（如工作或共享经济平台）中，保持高排名质量的同时提升公平性。
• 将公平性与排名质量之间的权衡形式化为在线优化问题。

提出的方法

• 提出一种基于公平性的新公平性度量，要求每个主体所获注意力与其相关性成比例。
• 提出分摊公平性，即公平性在多个排名中随时间实现，而非在单个排名中达成。
• 将问题建模为在线整数线性规划，以在约束条件下平衡公平性与排名质量。
• 使用相关性得分作为应得注意力的代理，假设相关性与价值成正比。
• 应用重排序机制，通过调整序列中的位置来均衡注意力分布。
• 采用约束优化框架，优先保证高质量排名，同时确保公平性。

实验结果

研究问题

• RQ1 如何在个体层面而非群体层面上衡量排名中的公平性？
• RQ2 当位置偏差固有地使低排名项目处于不利地位时，能否在排名中实现公平性？
• RQ3 何种优化框架可在动态环境中平衡个体公平性与排名质量？
• RQ4 与静态排名相比，通过多个排名实现的分摊公平性在多大程度上减少了注意力不平等？
• RQ5 在不显著降低排名质量的情况下，公平性最多可提升多少？

主要发现

• 真实世界排名中的注意力分布可能极不公平，低排名主体所获注意力远低于其相关性所应得。
• 所提方法在保持高排名质量的同时显著提升了个体公平性，这通过标准信息检索指标得到验证。
• 通过序列间重排序实现的分摊公平性有效平衡了注意力与相关性，减少了长期曝光差异。
• 即使在各主体相关性得分相等的情况下，该方法仍能确保注意力分配的公平性。
• 优化框架成功实现了公平性与质量的权衡，在真实数据集上展示了实际可行性。
• 结果表明，公平性可得到提升而不会显著降低排名性能，支持在真实平台中部署。