[论文解读] FAIR: Fairness-Aware Information Retrieval Evaluation

Ruoyuan Gao, Yingqiang Ge+1 more|arXiv (Cornell University)|Jun 16, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 30被引用 5

一句话总结

本文提出 FAIR，一种统一的度量指标，将相关性、多样性、新颖性和公平性整合到一个统一的公平感知信息检索评估框架中。通过基于 KL 散度的加权方法结合效用与公平性，FAIR 实现了排序算法的联合优化，在多个数据集的实验中，显著提升了用户效用与子主题公平曝光之间的平衡。

ABSTRACT

With the emerging needs of creating fairness-aware solutions for search and recommendation systems, a daunting challenge exists of evaluating such solutions. While many of the traditional information retrieval (IR) metrics can capture the relevance, diversity, and novelty for the utility with respect to users, they are not suitable for inferring whether the presented results are fair from the perspective of responsible information exposure. On the other hand, existing fairness metrics do not account for user utility or do not measure it adequately. To address this problem, we propose a new metric called FAIR. By unifying standard IR metrics and fairness measures into an integrated metric, this metric offers a new perspective for evaluating fairness-aware ranking results. Based on this metric, we developed an effective ranking algorithm that jointly optimized user utility and fairness. The experimental results showed that our FAIR metric could highlight results with good user utility and fair information exposure. We showed how FAIR related to a set of existing utility and fairness metrics and demonstrated the effectiveness of our FAIR-based algorithm. We believe our work opens up a new direction of pursuing a metric for evaluating and implementing the FAIR systems.

研究动机与目标

• 为解决信息检索系统中同时评估用户效用与公平性的统一度量指标缺失的问题。
• 克服现有度量指标孤立评估效用与公平性的局限，避免算法设计中产生次优权衡。
• 开发一种计算上可行的评估框架，支持排序算法中效用与公平性的联合优化。
• 为系统设计者和政策制定者提供一种工具，以评估并引导相关性与信息公平曝光之间的权衡。

提出的方法

• FAIR 将标准的 IR 度量指标——相关性、多样性与新颖性——整合为单一得分，并根据位置和多样性偏差进行折扣。
• 该度量使用 KL 散度衡量与公平政策的偏离程度，量化子主题在结果中曝光的公平性。
• 通过 RBP 衡量的效用与通过 KL 散度衡量的公平性，构成加权组合，形成 FAIR 得分，实现联合优化。
• 开发了一种优化算法，通过平衡相关性、多样性和子主题的公平曝光，最大化 FAIR 得分。
• 该框架支持插入多种效用与公平性度量指标，提升评估的灵活性。
• 在真实世界数据集（如 TREC Web Track）上开展实验，验证了该度量指标与算法在多种配置下的有效性。

实验结果

研究问题

• RQ1 如何通过单一集成度量指标，联合评估信息检索系统中的公平性与效用？
• RQ2 像 FAIR 这样的统一度量指标，在多大程度上能够捕捉用户效用与信息公平曝光之间的权衡？
• RQ3 基于 FAIR 的优化算法是否能在效用与公平性方面均优于基线方法？
• RQ4 与现有公平性与效用度量指标相比，FAIR 在突出呈现平衡、公平且相关的排序结果方面表现如何？

主要发现

• FAIR 度量成功捕捉了用户效用与公平性之间的平衡，在反映系统整体性能方面优于独立的度量指标。
• 基于 FAIR 的优化算法在相关性（以 RBP 衡量）和公平性（以 KL 散度衡量）方面均优于基线算法。
• 在 TREC Web 数据集上的实验表明，FAIR 意识的排序在不牺牲效用的前提下提升了公平性，展示了有效的权衡管理能力。
• 该度量能够突出显示兼具强效用与公平曝光的结果，尤其对少数群体子主题效果显著。
• 即使两个算法的 FAIR 得分相同，该度量仍能通过结合各自的效用与公平性得分进行区分，支持更深入的分析。
• 该框架使政策制定者与设计者能够在不预设固定权重的情况下，评估并引导公平性-效用权衡，支持灵活的决策制定。