[论文解读] Comparing Fair Ranking Metrics

Amifa Raj, Michael D. Ekstrand|arXiv (Cornell University)|Sep 2, 2020

Recommender Systems and Techniques参考文献 19被引用 5

一句话总结

本文对排名型信息检索系统中的公平性度量进行了统一比较，评估了其设计、假设及在搜索与推荐数据集中的实证表现。研究发现，不同度量在排序系统排序结果上存在显著分歧，其中EEL与AWRFΔ表现出最一致的共识，建议一般使用AWRFΔ，EED用于序列中的群体平等性度量。

ABSTRACT

Ranked lists are frequently used by information retrieval (IR) systems to present results believed to be relevant to the users information need. Fairness is a relatively new but important aspect of these rankings to measure, joining a rich set of metrics that go beyond traditional accuracy or utility constructs to provide a more holistic understanding of IR system behavior. In the last few years, several metrics have been proposed to quantify the (un)fairness of rankings, particularly with respect to particular group(s) of content providers, but comparative analyses of these metrics -- particularly for IR -- is lacking. There is limited guidance, therefore, to decide what fairness metrics are applicable to a specific scenario, or assessment of the extent to which metrics agree or disagree applied to real data. In this paper, we describe several fair ranking metrics from existing literature in a common notation, enabling direct comparison of their assumptions, goals, and design choices; we then empirically compare them on multiple data sets covering both search and recommendation tasks.

研究动机与目标

• 以统一符号形式对公平性度量进行形式化，以实现对设计选择和假设的直接比较。
• 识别在真实世界IR实验中应用公平性度量的实际挑战，包括数据稀疏性和边界情况。
• 在多样化的搜索与推荐数据集中，实证评估并比较多种公平性度量。
• 根据特定的公平性目标和数据特征，提供选择公平性度量的实际建议。

提出的方法

• 作者使用统一符号形式化了文献中的13种公平性度量，以实现对设计选择和假设的直接比较。
• 他们在来自搜索与推荐系统的多个真实世界数据集上实现并评估了这些度量，包括FairTREC和MovieLens。
• 对于需要完整排名或相关性评分的度量（如PAIR），他们通过采样估算评分，以使其适用于部分排名场景。
• 他们分析了在不同配置下的度量行为，例如目标分布（均等代表性 vs. 数据驱动）和差异函数。
• 他们计算了不同度量排序之间的Kendall’s tau相关系数，以评估实验中的一致性。
• 他们通过将未知群体归属视为第三组并相应调整实现方式，来处理边界情况。

实验结果

研究问题

• RQ1 不同公平性度量在设计、假设和理论行为方面如何比较？
• RQ2 当应用于相同的现实世界搜索与推荐数据集时，公平性度量在多大程度上达成一致或产生分歧？
• RQ3 在真实IR实验中应用公平性度量的实际挑战是什么，特别是关于数据稀疏性和缺失群体归属的问题？
• RQ4 哪些公平性度量配置在多样化的IR任务和数据集中表现最为一致？
• RQ5 设计选择（如加权方案和目标分布）如何影响度量行为和可解释性？

主要发现

• EEL与AWRFΔ在均等曝光目标下，表现出最高且最一致的相关性，表明在系统排序上具有强共识。
• 大多数公平性度量之间存在显著分歧，没有单一度量在不同数据集中始终以相同顺序对系统进行排序。
• 由于支持多项式受保护群体、软关联关系以及灵活的目标分布，AWRFΔ被推荐用于一般用途。
• EED是最适合用于测量序列中群体平等性的度量，尤其因其对边界情况和比率问题的鲁棒性。
• 当相关性稀疏性为关注重点时，IAA是一个可行的替代方案，因其可应用于多项式群体和软关联关系。
• 本研究揭示，设计决策（如差异函数和目标分布）对度量结果有显著影响，但其各自影响尚不明确。