[论文解读] Fairness in Ranking: A Survey

Meike Zehlike, Ke Yang+1 more|arXiv (Cornell University)|Mar 25, 2021

Auction Theory and Applications参考文献 66被引用 29

一句话总结

对分数基、监督学习排序和推荐/匹配系统中公平性的全面综述，具有统一的价值框架与缓解方法叙事。

ABSTRACT

In the past few years, there has been much work on incorporating fairness requirements into algorithmic rankers, with contributions coming from the data management, algorithms, information retrieval, and recommender systems communities. In this survey we give a systematic overview of this work, offering a broad perspective that connects formalizations and algorithmic approaches across subfields. An important contribution of our work is in developing a common narrative around the value frameworks that motivate specific fairness-enhancing interventions in ranking. This allows us to unify the presentation of mitigation objectives and of algorithmic techniques to help meet those objectives or identify trade-offs. In this survey, we describe four classification frameworks for fairness-enhancing interventions, along which we relate the technical methods surveyed in this paper, discuss evaluation datasets, and present technical work on fairness in score-based ranking. Then, we present methods that incorporate fairness in supervised learning, and also give representative examples of recent work on fairness in recommendation and matchmaking systems. We also discuss evaluation frameworks for fair score-based ranking and fair learning-to-rank, and draw a set of recommendations for the evaluation of fair ranking methods.

研究动机与目标

• 提供对数据管理、算法、信息检索和推荐系统中排序公平性的系统性概览。
• 通过对排序公平性的共同叙事统一缓解目标和算法技术。
• 提出四种用于提升公平性的干预的分类框架，并将它们与调查方法关联起来。
• 讨论评估数据集以及在基于分数的排序、LtR和推荐系统中关于公平性的代表性工作。
• 为评估公平排序方法与未来研究方向提出建议。

提出的方法

• 描述基于分数的排序并用 top-k 及分组特定效用对效用进行形式化。
• 引入包括在 top-k 和前缀中的成比例表示等公平性衡量，并讨论多样性/覆盖的概念。
• 提出基于概率的和基于曝光的定义的公平性评估方法。
• 解释监督学习排序（LtR）及其训练/测试流程，包括 NDCG 和 MAP 作为准确性指标。
• 讨论在 LtR 中的公平性干预以减轻从训练数据中学习到的偏差。
• 提供在推荐系统和匹配中的公平性代表性示例。

实验结果

研究问题

• RQ1 在各子领域中，为实现排序公平性所采用的规范性目标和实际缓解目标是什么？
• RQ2 如何对基于分数的排序、LtR 和推荐系统中的公平性干预进行分类并建立联系？
• RQ3 哪些评估框架和数据集支持公平排序，并且在评估公平排序方法时有哪些建议？
• RQ4 在人口层面和基于曝光的公平性概念在排序情境中如何比较？

主要发现

• 该调查提供了一个广泛、统一的视角，将公平性概念与排序的各个子领域联系起来。
• 它概述了四种用于提升公平性的干预的分类框架，并将它们与技术方法联系起来。
• 它讨论了基于分数的公平性和 LtR 的公平性，并强调了在推荐系统和匹配领域的代表性公平性工作。
• 它强调评估框架、数据集以及评估公平排序方法的实际建议。
• 它阐明排序公平性是价值负载且受情境影响的，不是纯粹的技术构造。