[论文解读] Fairness and Diversity for Rankings in Two-Sided Markets.

Lequn Wang, Thorsten Joachims|arXiv (Cornell University)|Oct 4, 2020

Game Theory and Voting Systems参考文献 60被引用 7

一句话总结

本文提出了首个联合优化双边市场中用户公平性、物品公平性和多样性的排序算法，通过将公平性建模为凸优化问题，并利用一种新颖的Birkhoff-von Neumann分解推导出排序策略。该方法在确保用户群体和物品间曝光均衡的同时，显式控制多样性，基于新基准数据集的实证验证表明，该方法在三项期望目标之间实现了有效的权衡。

ABSTRACT

Ranking items by their probability of relevance has long been the goal of conventional ranking systems. While this maximizes traditional criteria of ranking performance, there is a growing understanding that it is an oversimplification in online platforms that serve not only a diverse user population, but also the producers of the items. In particular, ranking algorithms are expected to be fair in how they serve all groups of users -- not just the majority group -- and they also need to be fair in how they divide exposure among the items. These fairness considerations can partially be met by adding diversity to the rankings, as done in several recent works. However, we show in this paper that user fairness, item fairness and diversity are fundamentally different concepts. In particular, we find that algorithms that consider only one of the three desiderata can fail to satisfy and even harm the other two. To overcome this shortcoming, we present the first ranking algorithm that explicitly enforces all three desiderata. The algorithm optimizes user and item fairness as a convex optimization problem which can be solved optimally. From its solution, a ranking policy can be derived via a novel Birkhoff-von Neumann decomposition algorithm that optimizes diversity. Beyond the theoretical analysis, we investigate empirically on a new benchmark dataset how effectively the proposed ranking algorithm can control user fairness, item fairness and diversity, as well as the trade-offs between them.

研究动机与目标

• 解决现有排序系统在双边在线平台中过度侧重相关性而牺牲公平性和多样性的局限性。
• 正式区分并调和用户公平性、物品公平性与多样性三者之间的相互作用——这三项目标在排序系统中通常不同且常相互冲突。
• 开发一种统一算法，同时显式强制执行全部三项标准，避免以牺牲其中一项为代价来换取其他两项的优化。
• 通过凸优化和一种新颖的分解方法，提供理论基础坚实、最优的公平性与多样性解决方案。
• 在新基准数据集上实证评估该算法在公平性与多样性度量上的表现。

提出的方法

• 将用户公平性和物品公平性作为凸优化问题中的约束条件，确保用户群体和物品之间曝光的均衡。
• 利用一种新颖的Birkhoff-von Neumann分解算法，从最优解中推导出排序策略，显式优化排序输出中的多样性。
• 将排序策略表示为置换矩阵的凸组合，从而实现对物品曝光分布的精确控制。
• 将公平性与多样性目标整合进单一优化框架，通过可调权重参数实现权衡分析。
• 采用新基准数据集，评估该算法在不同配置下于公平性与多样性度量上的表现。
• 以全局最优解求解优化问题，确保公平性与多样性合规性的理论保证。

实验结果

研究问题

• RQ1 用户公平性、物品公平性与多样性在概念上如何不同？仅优化其中一项或两项会带来什么风险？
• RQ2 是否存在一种单一排序算法，能够同时满足用户公平性、物品公平性与多样性，而不损害其中任一目标？
• RQ3 在排序系统中，用户公平性、物品公平性与多样性之间的权衡关系本质是什么？
• RQ4 所提出的算法在实践中对这三项期望目标的控制效果如何？基于新基准数据集的实证测量结果如何？
• RQ5 Birkhoff-von Neumann分解在多大程度上实现了对多样性的最优控制，同时保持公平性约束？

主要发现

• 所提出的算法成功同时实现了用户公平性、物品公平性与多样性三项期望目标，避免了仅优化其中一项或两项时常见的性能下降问题。
• 凸优化建模确保了满足公平性约束的最优解，并提供了理论保证。
• 新颖的Birkhoff-von Neumann分解通过将排序策略表示为置换矩阵的凸组合，实现了对多样性的精确控制。
• 在新基准数据集上的实证评估证实，该算法能够有效调节不同配置下的公平性与多样性度量。
• 该方法揭示了三项目标之间存在非平凡的权衡关系，表明若未显式平衡，仅优化其中一项可能对其他两项产生负面影响。
• 在保持用户群体与物品间曝光均衡的同时，该算法在排序多样性方面优于基线方法。