[论文解读] Fairness and Discrimination in Information Access Systems

Michael D. Ekstrand, Anubrata Das+2 more|arXiv (Cornell University)|May 12, 2021

Ethics and Social Impacts of AI参考文献 153被引用 13

一句话总结

本专著提出了一种信息检索与推荐系统等信息访问系统中公平性的全面分类体系，突出强调了基于排名的交互、个性化以及用户反馈带来的独特挑战。该研究综述了现有文献，识别出关键的公平性维度，并为该新兴领域未来的研究指出了开放性问题。

ABSTRACT

Recommendation, information retrieval, and other information access systems pose unique challenges for investigating and applying the fairness and non-discrimination concepts that have been developed for studying other machine learning systems. While fair information access shares many commonalities with fair classification, the multistakeholder nature of information access applications, the rank-based problem setting, the centrality of personalization in many cases, and the role of user response complicate the problem of identifying precisely what types and operationalizations of fairness may be relevant, let alone measuring or promoting them. In this monograph, we present a taxonomy of the various dimensions of fair information access and survey the literature to date on this new and rapidly-growing topic. We preface this with brief introductions to information access and algorithmic fairness, to facilitate use of this work by scholars with experience in one (or neither) of these fields who wish to learn about their intersection. We conclude with several open problems in fair information access, along with some suggestions for how to approach research in this space.

研究动机与目标

• 为填补信息访问系统中公平性理解的空白，此类系统与传统机器学习公平性语境存在显著差异。
• 识别并分类基于排名的检索、个性化以及用户交互在公平性评估中带来的独特挑战。
• 为初次接触算法公平性或信息访问领域的研究人员提供一个基础框架，以理解这两个领域的交叉点。
• 综述推荐与检索系统中公平性的现有研究，基于一致的公平性维度分类体系组织研究成果。
• 突出开放性问题，并为推进信息访问系统中公平性研究提出研究方向。

提出的方法

• 开发了一套针对信息访问系统的特定公平性维度分类体系，涵盖利益相关方之间的代表性、对待与结果公平性。
• 整合算法公平性与信息检索的概念，将公平性定义适配于基于排名的多利益相关方情境。
• 分析用户行为与反馈回路如何影响公平性，尤其是在个性化系统中。
• 综述推荐与检索系统中公平性的现有研究，按公平性类型与系统特征组织发现。
• 提出在结果依赖于排名与用户参与度的系统中测量公平性的方法论考量。
• 识别构建公平信息访问系统时的关键设计与评估挑战，包括公平性与效用之间的权衡。

实验结果

研究问题

• RQ1 与传统机器学习应用相比，信息访问系统中的公平性挑战有何独特之处？
• RQ2 基于排名的检索、个性化以及用户反馈如何使公平性的可操作化更加复杂？
• RQ3 在多利益相关方信息访问系统中，哪些公平性维度——如代表性公平性、对待公平性或结果公平性——最为相关？
• RQ4 在用户参与度与排名处于核心地位的系统中，如何衡量并促进公平性？
• RQ5 推动信息访问系统中公平性发展的关键开放性问题与研究方向是什么？

主要发现

• 信息访问系统中的公平性无法直接从公平分类中迁移，因其具有多利益相关方、基于排名及交互性的本质特征。
• 个性化与用户反馈引入了反馈回路，可能放大或缓解不公平性，使公平性测量更加复杂。
• 该分类体系识别出若干关键的公平性维度，如代表性公平性（针对代表性不足群体）与排名中的对待公平性，对系统设计至关重要。
• 现有信息访问公平性研究文献正在增长，但仍然零散，且存在定义与评估方法不一致的问题。
• 主要挑战包括公平性与效用之间的平衡、利益相关方多样性的建模，以及为动态、交互式系统开发稳健的公平性度量方法。
• 本文识别出若干开放性问题，包括亟需建立标准化的公平性评估协议，以及开发适用于信息访问情境的伦理框架。