[論文レビュー] FAIR: Fairness-Aware Information Retrieval Evaluation

Ruoyuan Gao, Yingqiang Ge+1 more|arXiv (Cornell University)|Jun 16, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 30被引用数 5

ひとこと要約

本稿では、関連性、多様性、新規性、公平性を統合した一貫した評価フレームワークとしてのFAIRを提案する。KL発散に基づく重み付けにより、有用性と公平性を統合し、ランク付けアルゴリズムの共同最適化を可能にする。実験では、複数のデータセットを対象として、ユーザーの有用性とサブトピックの公平な露出の間で改善されたバランスを示した。

ABSTRACT

With the emerging needs of creating fairness-aware solutions for search and recommendation systems, a daunting challenge exists of evaluating such solutions. While many of the traditional information retrieval (IR) metrics can capture the relevance, diversity, and novelty for the utility with respect to users, they are not suitable for inferring whether the presented results are fair from the perspective of responsible information exposure. On the other hand, existing fairness metrics do not account for user utility or do not measure it adequately. To address this problem, we propose a new metric called FAIR. By unifying standard IR metrics and fairness measures into an integrated metric, this metric offers a new perspective for evaluating fairness-aware ranking results. Based on this metric, we developed an effective ranking algorithm that jointly optimized user utility and fairness. The experimental results showed that our FAIR metric could highlight results with good user utility and fair information exposure. We showed how FAIR related to a set of existing utility and fairness metrics and demonstrated the effectiveness of our FAIR-based algorithm. We believe our work opens up a new direction of pursuing a metric for evaluating and implementing the FAIR systems.

研究の動機と目的

• 情報検索システムにおけるユーザーの有用性と公平性を両方評価する統一された指標の欠如に対処すること。
• 既存の指標が有用性と公平性を別々に評価するため、アルゴリズム設計において最適でないトレードオフを生じさせることを克服すること。
• ランク付けアルゴリズムにおける有用性と公平性の共同最適化を可能にする、計算的に実行可能な評価フレームワークを開発すること。
• システム設計者や政策立案者に、関連性と公平な情報露出のトレードオフを評価・指導するためのツールを提供すること。

提案手法

• FAIRは、標準的なIR指標（関連性、多様性、新規性）を、順位と多様性バイアスに応じて割引して統合したスコアを生成する。
• 指標はKL発散を用いて公平性ポリシーからの逸脱を測定し、結果におけるサブトピックの公平な露出度合いを定量化する。
• RBPによる有用性とKL発散による公平性の重み付き組み合わせがFAIRスコアを形成し、共同最適化を可能にする。
• 関連性、多様性、および公平なサブトピック露出をバランスさせるようにFAIRスコアを最大化する最適化アルゴリズムが開発された。
• フレームワークは、さまざまな有用性および公平性指標のプラグインをサポートしており、評価の柔軟性を提供する。
• TREC Web Trackなど実世界のデータセットを用いた実験により、多様な構成下での指標およびアルゴリズムの妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 一貫した統合指標を用いて、情報検索システムにおける公平性と有用性をどのように共同で評価できるか。
• RQ2 FAIRのような統一指標が、ユーザーの有用性と公平な情報露出のトレードオフをどの程度的確に捉えることができるか。
• RQ3 FAIRに基づく最適化アルゴリズムは、ベースライン手法に比べて、有用性および公平性の両面でより優れたパフォーマンスを達成できるか。
• RQ4 FAIRは、既存の公平性および有用性指標と比較して、バランスの取れた、公平で関連性の高い結果をどの程度よく強調できるか。

主な発見

• FAIR指標は、ユーザーの有用性と公平性のバランスを的確に捉えており、システム全体のパフォーマンスを反映する点で、単独の指標を上回った。
• FAIRに基づく最適化アルゴリズムは、ベースラインアルゴリズムに比べて、関連性（RBPで測定）が高く、公平性（KL発散で測定）も優れていた。
• TREC Webデータセットを用いた実験では、FAIRに配慮したランク付けが有用性を損なわず公平性を向上させることを示し、効果的なトレードオフ管理を実証した。
• 指標は、有用性と公平な露出の両方が強い結果、特にマイノリティのサブトピックに対して顕著に強調した。
• 2つのアルゴリズムのFAIRスコアが同一であっても、個別の有用性および公平性スコアと組み合わせることで、指標はそれらを区別でき、より深い分析を可能にした。
• このフレームワークにより、政策立案者や設計者は、固定された重みを指定せずとも、公平性と有用性のトレードオフを評価・指導できるようになり、柔軟な意思決定を支援した。