[論文レビュー] Comparing Fair Ranking Metrics

Amifa Raj, Michael D. Ekstrand|arXiv (Cornell University)|Sep 2, 2020

Recommender Systems and Techniques参考文献 19被引用数 5

ひとこと要約

本稿は、検索および推薦データセットにおける順序付けられた情報検索システムの公平性指標を統一的に比較し、その設計、仮定、および実証的性能を評価する。順序付けられたシステムの順序付けにおいて指標間で顕著な不一致が認められ、EELおよびAWRFΔが最も一貫した一致を示し、一般用途にはAWRFΔ、順序列におけるデモグラフィックパラメータの同等性を測定するにはEEDを推奨する。

ABSTRACT

Ranked lists are frequently used by information retrieval (IR) systems to present results believed to be relevant to the users information need. Fairness is a relatively new but important aspect of these rankings to measure, joining a rich set of metrics that go beyond traditional accuracy or utility constructs to provide a more holistic understanding of IR system behavior. In the last few years, several metrics have been proposed to quantify the (un)fairness of rankings, particularly with respect to particular group(s) of content providers, but comparative analyses of these metrics -- particularly for IR -- is lacking. There is limited guidance, therefore, to decide what fairness metrics are applicable to a specific scenario, or assessment of the extent to which metrics agree or disagree applied to real data. In this paper, we describe several fair ranking metrics from existing literature in a common notation, enabling direct comparison of their assumptions, goals, and design choices; we then empirically compare them on multiple data sets covering both search and recommendation tasks.

研究の動機と目的

• 直接比較が可能な共通表記を用いて、順序付けられたIR出力の公平性指標を統一的に比較し、その設計を明確化すること。
• データスパarsityやエッジケースを含む、実世界のIR実験への公平性指標の適用における実用的課題を特定すること。
• 多様な検索および推薦データセット上で、複数の公平性指標を実証的に評価・比較すること。
• 特定の公平性目標およびデータ特性に基づいた、公平性指標の選定に関する実行可能な推奨事項を提供すること。

提案手法

• 著者らは、文献に登場する13の公平性指標を統一的な表記法で形式化し、設計選択や仮定の直接的比較を可能にする。
• 検索および推薦システムの実世界データセット（FairTRECおよびMovieLensを含む）を用いて、指標を実装および評価する。
• 完全な順位付けや関連スコアを必要とする指標（例：PAIR）については、部分的順位付け設定への適用を可能にするために、サンプリングによるスコア推定を実施する。
• 目標分布（均等な代表比対データ駆動型）や差分関数などの異なる設定における指標の挙動を分析する。
• 指標順位間のケンダールのtau相関を計算し、実験全体を通じての一致度を評価する。
• 未知のグループメンバーシップを第三者のグループとして扱い、実装をそれに合わせて調整することでエッジケースに対処する。

実験結果

リサーチクエスチョン

• RQ1 順序付けられたIR出力のための異なる公平性指標は、設計、仮定、理論的挙動の観点からどのように比較できるか？
• RQ2 同じ実世界の検索および推薦データセットに適用した場合、公平性指標はどの程度一致または不一致を示すか？
• RQ3 特にデータスパarsityやグループメンバーシップの欠落に関して、公平性指標を実際のIR実験に適用する上での実用的課題は何か？
• RQ4 どのような公平性指標構成が多様なIRタスクおよびデータセット全体で最も一貫して性能を発揮するか？
• RQ5 重み付け方式や目標分布といった設計選択が、指標の挙動および解釈可能性にどのように影響を与えるか？

主な発見

• EELおよびAWRFΔ（均等露出目標を用いた場合）は、すべての実験で最高かつ最も一貫した相関を示し、システム順序付けにおける強い一致を示している。
• 大多数の公平性指標間で顕著な不一致が観察され、特定のデータセットとは異なる順序付けでシステムを順位付けする指標が存在する。
• AWRFΔは、多項式保護群、ソフト関連、柔軟な目標分布をサポートするため、一般用途に推奨される。
• EEDは、特にエッジケースや比ベースの問題に対して頑健であるため、順序列におけるデモグラフィックパラメータの同等性を測定するのに最も適している。
• 関連スコアのスパarsityが懸念される場合には、IAAが有効な代替手段である。これは多項式グループおよびソフト関連と組み合わせて適用可能である。
• 本研究は、差分関数や目標分布といった設計意思決定が指標の結果に顕著な影響を与えることが判明したが、個々の影響はまだ明確でない。