[論文レビュー] Measuring Fairness in Ranked Outputs

Ke Yang, Julia Stoyanovich|arXiv (Cornell University)|Oct 26, 2016

Game Theory and Voting Systems被引用数 7

ひとこと要約

本稿では、nDCG風の位置に基づく割引を従来の公平性指標と統合することで、順位付け出力における統計的同等性を測定する、新たなランク認識公平性指標—rND、rKL、rRD—を提案する。著者らは、合成データおよび実データ（例：ドイツのクレジット）を用いてこれらの指標を検証し、不公平性を検出できることを示し、精度を維持したまま公平性を向上させるための予備的な最適化結果も提示する。

ABSTRACT

Ranking and scoring are ubiquitous. We consider the setting in which an institution, called a ranker, evaluates a set of individuals based on demographic, behavioral or other characteristics. The final output is a ranking that represents the relative quality of the individuals. While automatic and therefore seemingly objective, rankers can, and often do, discriminate against individuals and systematically disadvantage members of protected groups. This warrants a careful study of the fairness of a ranking scheme. In this paper we propose fairness measures for ranked outputs. We develop a data generation procedure that allows us to systematically control the degree of unfairness in the output, and study the behavior of our measures on these datasets. We then apply our proposed measures to several real datasets, and demonstrate cases of unfairness. Finally, we show preliminary results of incorporating our ranked fairness measures into an optimization framework, and show potential for improving fairness of ranked outputs while maintaining accuracy.

研究の動機と目的

• 順位付け出力に特化した公平性指標を開発すること、ここで順位の位置が結果の利益に影響を及えること。
• 相対的な順位付けの文脈において、位置に基づく重み付けを組み込むことで、統計的同等性を順位付けにおいて測定すること、これにより従来の公平性指標が相対的順位設定において抱える限界を是正すること。
• 提案された公平性指標を合成データおよび実世界のデータセット上で評価し、順位付けシステムにおける不公平性を検出・分析すること。
• 公平性指標を最適化フレームワークに統合し、順位付けの精度を損なわずに公平性を向上させること。
• 順位付けシステムにおけるアルゴリズム的公平性を監査および改善するための原理的で解釈可能かつ説明可能な手法を提供すること。

提案手法

• nDCG風の位置に基づく割引を用いて、従来の統計的同等性指標を順位付け文脈に適応させることで、3つの新しい公平性指標—rND、rKL、rRD—を提案する。
• 制御された評価が可能なように、順位付け出力における不公平度を体系的に制御できる合成データ生成手順を設計する。
• 実データセット（例：ドイツのクレジット）に公平性指標を適用し、貸付額や正規化されたスコア合計を順位付け信号として、性別／年齢を保護群として使用する。
• Zemelら[9]の公平表現フレームワークを順位付けに適応させるために、正解順位と推定順位の間の平均アイテムスコア差を用いて、精度損失項を再定義する。
• 公平性（Lz）、入力空間の忠実度（Lx）、順位付け精度（Ly）をバランスさせるためのトレードオフハイパーパrameterを有する多基準最適化目的関数を用いる。
• 収束モニタリングを用いて、最適化過程における公平性と精度のトレードオフを評価し、正規化平均スコア差や公平性成分といった指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 順位付けの相対性を考慮すると、統計的同等性の公平性はどのように意味的に測定できるか？
• RQ2 既存の公平性指標は、順位付けにおける位置依存の公平性をどの程度正しく捉えておらず、どのように改善できるか？
• RQ3 ランク認識公平性指標は、ローン申請に用いられるような実世界の順位付けシステムにおいて、不公平性を検出し、定量的に測定できるか？
• RQ4 順位付けの精度を著しく低下させることなく、公平性を最適化することは可能か？
• RQ5 異なる順位付け信号（例：貸付額対正規化スコア合計）は、公平性と精度のトレードオフにどのように影響を与えるか？

主な発見

• 提案されたランク認識公平性指標—rND、rKL、rRD—は、合成データおよび実データの両方で不公平性を効果的に検出し、定量的に測定でき、ドイツのクレジットデータセットではrKLが0.01〜0.15、rNDが0.05〜0.41の範囲に分布した。
• ドイツのクレジットデータセットにおいて、rRDは年齢＜25のグループにのみ適用可能であり、0.08〜0.12の範囲に分布しており、上位順位における測定可能ではあるが限定的な不公平性を示した。
• 修正された公平表現フレームワークを用いた最適化により、公平性指標（rND、rKL、rRD、およびLz）が低水準にまで低下し、より公平な順位付けへの収束が確認された。
• 正規化された属性の合計に基づいて順位付けした場合（図6）、貸付額のみで順位付けした場合（図7）よりも、精度（正規化平均スコア差で測定）がより効果的に維持された。これは、信号の質が公平性と精度のトレードオフに影響を及えることを示唆している。
• 最適化フレームワークは、精度を維持したまま公平性を向上させる可能性を示しているが、収束性と計算効率は依然として課題であり、今後の研究が求められる。
• 本研究では、順位付けにおける公平性が、グループレベルの結果割合のみでは評価できないことが確認された。順位の位置が公平性の結果に顕著に影響を及えることが明らかになった。