[論文レビュー] Fairness in Ranking: A Survey

Meike Zehlike, Ke Yang+1 more|arXiv (Cornell University)|Mar 25, 2021

Auction Theory and Applications参考文献 66被引用数 29

ひとこと要約

スコアベース、監視学習によるランキング、およびリコメンダ/マッチングシステム全体のランキングにおける公平性の包括的な調査で、価値フレームワークと緩和アプローチの統一的な語りを提供する。

ABSTRACT

In the past few years, there has been much work on incorporating fairness requirements into algorithmic rankers, with contributions coming from the data management, algorithms, information retrieval, and recommender systems communities. In this survey we give a systematic overview of this work, offering a broad perspective that connects formalizations and algorithmic approaches across subfields. An important contribution of our work is in developing a common narrative around the value frameworks that motivate specific fairness-enhancing interventions in ranking. This allows us to unify the presentation of mitigation objectives and of algorithmic techniques to help meet those objectives or identify trade-offs. In this survey, we describe four classification frameworks for fairness-enhancing interventions, along which we relate the technical methods surveyed in this paper, discuss evaluation datasets, and present technical work on fairness in score-based ranking. Then, we present methods that incorporate fairness in supervised learning, and also give representative examples of recent work on fairness in recommendation and matchmaking systems. We also discuss evaluation frameworks for fair score-based ranking and fair learning-to-rank, and draw a set of recommendations for the evaluation of fair ranking methods.

研究の動機と目的

• データ管理、アルゴリズム、情報検索、リコメンダ系システム全体でのランキングの公平性について体系的な概要を提供する。
• 共通の語りとしてランキングの公平性を通じて緩和目標とアルゴリズム技術を統合する。
• 公平性を高める介入の4つの分類フレームワークを提示し、それを調査された手法と関連づける。
• 評価データセットとスコアベースのランキング、LtR、リコメンダ系の公平性に関する代表的な研究を議論する。
• 公正なランキング手法を評価する際の推奨事項と今後の研究方向を提供する。

提案手法

• スコアベースのランキングを説明し、トップ-kとグループ別のユーティリティで実用性を形式化する。
• トップ-kおよびプレフィックスにおける比例代表と多様性/カバー概念を含む公平性指標を導入する。
• 確率ベースの定義と露出ベースの定義を通じた公平性の評価アプローチを提示する。
• 監視学習-to-rank (LtR) とその訓練／テストのパイプラインを説明し、NDCGとMAPを正確さの指標として用いる。
• 訓練データから学習されたバイアスを緩和するためのLtRにおける公平性介入を議論する。
• リコメンダ系とマッチングにおける公平性の代表的な例を提供する。

実験結果

リサーチクエスチョン

• RQ1 サブフィールド全体でフェアネスを達成するために使用される規範的な目標と実践的な緩和目標は何か。
• RQ2 公平性介入をどのように分類し、スコアベースランキング、LtR、リコメンダ系システムでどう結びつけられるか。
• RQ3 公正なランキングを支える評価フレームワークとデータセットは何か、そして公正なランキング手法を評価する際にどんな推奨が生まれるか。
• RQ4 人口レベルと露出ベースの公平性概念はランキング文脈でどのように比較されるか。

主な発見

• 本調査は、ランキングのサブフィールド間で公正性の概念を広範かつ統一的な観点で結び付ける見解を提供する。
• 公正性を高める介入の4つの分類フレームワークを概説し、それを技術手法と結びつける。
• スコアベースとLtRの公平性の両方を論じ、リコメンダ系とマッチングの代表的な公正性研究を強調する。
• 評価フレームワーク、データセット、および公正なランキング手法を評価するための実践的な推奨事項に焦点を当てる。
• ランキングの公平性は価値に基づき文脈依存であり、単なる技術的構成要素ではないことを明確にする。