[论文解读] A Framework for Fairness in Two-Sided Marketplaces

Kinjal Basu, Cyrus DiCiccio+2 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 5

一句话总结

本文提出了一种可扩展的端到端优化框架，通过在多个会话中对源端（查询者）和目标端（推荐对象）成员施加基于效用的公平性约束，确保双边市场推荐系统中的公平性。该方法通过引入基于对偶的在线重排序方法，实现了多会话公平性，保持线性复杂度的同时显著提升了公平性，且未牺牲源端效用。

ABSTRACT

Many interesting problems in the Internet industry can be framed as a two-sided marketplace problem. Examples include search applications and recommender systems showing people, jobs, movies, products, restaurants, etc. Incorporating fairness while building such systems is crucial and can have a deep social and economic impact (applications include job recommendations, recruiters searching for candidates, etc.). In this paper, we propose a definition and develop an end-to-end framework for achieving fairness while building such machine learning systems at scale. We extend prior work to develop an optimization framework that can tackle fairness constraints from both the source and destination sides of the marketplace, as well as dynamic aspects of the problem. The framework is flexible enough to adapt to different definitions of fairness and can be implemented in very large-scale settings. We perform simulations to show the efficacy of our approach.

研究动机与目标

• 解决用户在双边市场中同时作为请求者（源端）和候选者（目标端）的公平性问题，这在职位、好友和内容推荐系统中是常见场景。
• 通过在多个会话中使用成员效用形式化公平性，将先前的单会话公平性定义扩展至动态、长期的交互场景。
• 开发一种后处理重排序器，对源端和目标端均施加公平性约束，同时保持可扩展性且与底层模型架构无关。
• 通过引入时间效用聚合和动态约束更新，确保公平性在时间上持续维持，特别是对代表性不足群体的公平性。
• 提供一种理论基础坚实、可部署的解决方案，适用于大规模生产系统，且对系统性能影响极小。

提出的方法

• 使用基于效用的度量对源端和目标端成员的公平性进行形式化，其中效用定义为随时间推移的曝光或代表性。
• 通过聚合多个查询和交互中的效用，将Singh和Joachims（2018）的单会话公平性框架扩展为多会话公平性。
• 建立具有源端和目标端公平性约束的线性优化公式，即使在复杂的时间约束下也保持线性。
• 采用基于对偶的在线算法，实现实时重排序，允许在不重新训练的情况下动态更新公平性约束。
• 使用后处理重排序器，通过修改最终排序结果来满足公平性约束，同时保留模型生成的相关性得分。
• 应用拉格朗日松弛和对偶分解，将解决方案扩展至大规模、高吞吐量的推荐系统。

实验结果

研究问题

• RQ1 在用户同时扮演请求者和候选者双重角色的双边市场中，公平性应如何有意义地定义？
• RQ2 与仅在单次查询或单一会话中施加公平性相比，在多个会话中施加公平性有何影响？
• RQ3 可扩展的在线重排序框架能否在不降低相关性或性能的前提下，同时对源端和目标端群体维持公平性？
• RQ4 对公平性约束的动态更新如何影响效用平衡和大规模系统中的系统效率？
• RQ5 后处理方法在不修改底层模型架构的前提下，能在多大程度上实现公平性？

主要发现

• 所提出的基于对偶的重排序器显著改善了目标端效用平衡，当 m=20 且 t=20 时，差异从无重排序器时的 0.1964 降低至 dualWithDynamic 的 0.1090。
• 源端效用在不同方法间保持高度稳定，数值范围在 0.5166 到 0.5860 之间，表明对请求者体验的负面影响极小。
• 增加展示槽位数（m）可先验性地提升公平性满足程度，表现为当 m=20 时，原始方法和对偶方法的差异低于 m=10 的情况。
• 更频繁地刷新对偶参数可使目标端效用更接近目标公平性，但代价是计算负载增加。
• 该框架成功在会话间维持了公平性，表明通过时间效用聚合可缓解长期曝光不平衡问题。
• 模拟结果证实，若无重排序，代表性不足群体将出现显著的效用差异，验证了所提公平机制的必要性。