[論文レビュー] On the Problem of Underranking in Group-Fair Ranking

Sruthi Gorantla, Amit Deshpande+1 more|arXiv (Cornell University)|Sep 24, 2020

Auction Theory and Applications参考文献 23被引用数 6

ひとこと要約

本稿では、個々のアイテムの評価順位からの最悪ケースのずれ（underranking）を同時に最小化し、順序付きリストにおけるグループの公平性を保証する、新規の再順序付けアルゴリズムを提案する。理論的でトレードオフの境界を確立し、COMPAS やドイツの信用リスクといった実世界のデータセットにおいて、最先端のベースラインを上回る公平性と順位保持の両面で優れた性能を発揮する。

ABSTRACT

Search and recommendation systems, such as search engines, recruiting tools, online marketplaces, news, and social media, output ranked lists of content, products, and sometimes, people. Credit ratings, standardized tests, risk assessments output only a score, but are also used implicitly for ranking. Bias in such ranking systems, especially among the top ranks, can worsen social and economic inequalities, polarize opinions, and reinforce stereotypes. On the other hand, a bias correction for minority groups can cause more harm if perceived as favoring group-fair outcomes over meritocracy. In this paper, we formulate the problem of underranking in group-fair rankings, which was not addressed in previous work. Most group-fair ranking algorithms post-process a given ranking and output a group-fair ranking. We define underranking based on how close the group-fair rank of each item is to its original rank, and prove a lower bound on the trade-off achievable for simultaneous underranking and group fairness in ranking. We give a fair ranking algorithm that takes any given ranking and outputs another ranking with simultaneous underranking and group fairness guarantees comparable to the lower bound we prove. Our algorithm works with group fairness constraints for any number of groups. Our experimental results confirm the theoretical trade-off between underranking and group fairness, and also show that our algorithm achieves the best of both when compared to the state-of-the-art baselines.

研究の動機と目的

• グループ公平性の順序付けにおいて、無視されがちな underranking 問題に取り組むこと。これは、高い評価を持つアイテムが公平性を達成するために不釣り合いに順位を下げられることを指す。
• underranking を、個々のアイテムの元の評価順位からの最大絶対的順位ずれとして定義・形式化すること。
• 再順序付けにおける underranking とグループ公平性の間の理論的下限を確立すること。
• 複数のグループに適用可能で、それぞれに異なる公平性制約を持つ、underranking とグループ公平性の両方を同時に満たす高速で柔軟な再順序付けアルゴリズムを設計すること。
• 提案手法が最先端のベースラインと比較して、公平性と順位保持の両面で優れていることを実証的に検証すること。

提案手法

• underranking を、任意のアイテムの再順序付け後の順位と元の評価順位との間の最大絶対的ずれとして定義する。
• グループ公平性を、順位リストの各プレフィックス（上位k順位）における各グループのアイテム割合に制約を課すこととして定式化する。
• 与えられた評価順位に基づく順序を、underranking を最小化しながらグループ公平性を満たす順序に変換する再順序付けアルゴリズム（ALG）を提案する。
• グループの代表割合制約を満たすように、反復的で貪欲なアプローチにより順位を再割り当てし、元の評価順位の順序への最小限の干渉を最優先とする。
• スケーラビリティと理論的性能境界を保証するため、動的計画法と近似技術を統合する。
• 互いに排他的な任意の数のグループをサポートし、それぞれに個別に設定された公平性制約（例：上位k位における最小/最大代表割合）を適用可能とする。

実験結果

リサーチクエスチョン

• RQ1 再順序付けにおいて、underranking の最小化とグループ公平性の達成との間の根本的トレードオフは何か？
• RQ2 再順序付けアルゴリズムが、underranking とグループ公平性の両方の強力な保証を同時に達成できるか？
• RQ3 提案手法は、実世界のデータセットにおいて、順位保持と公平性指標の両面で、既存のベースラインと比較してどのように異なるか？
• RQ4 理論的下限として得られた underranking と公平性のトレードオフは、実際の応用でどの程度達成可能か？
• RQ5 複数の保護対象グループや異なる公平性制約の下で、アルゴリズムのスケーラビリティと性能はどのように変化するか？

主な発見

• 提案手法は、Celis らの DP を用いた最先端の手法と比較して、顕著に低い underranking を達成しながらも、強いグループ公平性を維持している。
• COMPAS 再犯リスクデータセットにおいて、アフリカ系アメリカ人と女性のグループが上位順位で割合的に適正な代表を示しており、元の評価順位からの順位ずれは最小限に抑えられている。
• ドイツの信用リスクデータセットにおいて、年齢に基づく保護対象グループの公平性制約を満たしつつ、高い nDCG スコア（順位の有効性を測る指標）を維持している。
• すべての評価対象の上位k位および連続する順位区間（例：1–20、21–60、61–100）において、提案手法はベースラインを上回る underranking とグループ公平性を達成している。
• 正確な動的計画法ベースラインと比較して、著しく高速に実行可能であり、リアルタイムまたは大規模な展開に実用的である。
• 実験結果は、理論的トレードオフが実際の応用でも確認されており、提案手法はこのトレードオフにおいて近似的に最適な性能を達成している。