[論文レビュー] What is Fair? Exploring Pareto-Efficiency for Fairness Constraint Classifiers

Alyssa Lees, Ananth Balashankar+2 more|arXiv (Cornell University)|Oct 30, 2019

Ethics and Social Impacts of AI参考文献 35被引用数 5

ひとこと要約

本稿では、パレート最適な点を公平性超平面に最も近い位置に特定することで、サブグループ全体のモデルパフォーマンスを最適化する、公平性に配慮した分類フレームワークであるPareto-Efficient Fairness（PEF）を提案する。実験的に、UCIデータセットにおいて、厳密な公平性制約と比較して、すべてのグループで優れたもしくは同等のサブグループ正解率を達成している。

ABSTRACT

The potential for learned models to amplify existing societal biases has been broadly recognized. Fairness-aware classifier constraints, which apply equality metrics of performance across subgroups defined on sensitive attributes such as race and gender, seek to rectify inequity but can yield non-uniform degradation in performance for skewed datasets. In certain domains, imbalanced degradation of performance can yield another form of unintentional bias. In the spirit of constructing fairness-aware algorithms as societal imperative, we explore an alternative: Pareto-Efficient Fairness (PEF). Theoretically, we prove that PEF identifies the operating point on the Pareto curve of subgroup performances closest to the fairness hyperplane, maximizing multiple subgroup accuracy. Empirically we demonstrate that PEF outperforms by achieving Pareto levels in accuracy for all subgroups compared to strict fairness constraints in several UCI datasets.

研究の動機と目的

• 不均衡なデータセットにおいて、厳密な公平性制約を適用した際のサブグループ間での非一様なパフォーマンス劣化の問題に対処すること。
• 公平性を損なわず、サブグループパフォーマンスを最適にバランスさせる公平性に配慮した分類手法を開発すること。
• サブグループ正解率のパレートフロンティア上での公平で効率的な作業点を特定すること。
• 公平性制約下での不均衡なパフォーマンス劣化に起因する意図しないバイアスを最小限に抑えること。

提案手法

• 公平性を、公平性超平面への近接度として定義し、サブグループ正解率の多目的最適化問題として定式化する。
• 公平性を維持しつつ、最小サブグループ正解率を最大化するパレート効率的点を同定する。
• 制約付き最適化を用いて、パレート曲線上にあり、かつ公平性超平面に最も近いモデル設定を特定する。
• 標準的なUCIデータセットにこの手法を適用し、公平性とサブグループパフォーマンスのトレードオフを評価する。
• 感度サブグループ間の正解率の等価性を指標として、PEFを厳密な公平性制約と比較する。
• パレートフロンティアの幾何的性質を活用して、最適な公平性-パフォーマンストレードオフを保証する。

実験結果

リサーチクエスチョン

• RQ1 不均衡なデータセットにおいて、公平性に配慮した分類器は、厳密な公平性制約と比較して、すべてのサブグループで優れたもしくは同等のパフォーマンスを達成できるか？
• RQ2 公平性超平面に最も近いパレート最適点を特定することで、サブグループパフォーマンスのよりバランスの取れた分布が得られるか？
• RQ3 PEFは、既存の公平性制約と比較して、サブグループ正解率と公平性のトレードオフにおいてどのように異なるか？
• RQ4 パレートフロンティア上での公平性超平面に最も近い点を選択することが、最適な公平性トレードオフの理論的根拠を有するか？

主な発見

• PEFは、すべてのサブグループでパレートレベルの正解率を達成し、厳密な公平性指標で制約されたモデルを上回っている。
• この手法は、公平性を維持しつつ、最小サブグループ正解率を最大化するパレート曲線上の単一の作業点を同定する。
• UCIデータセットにおける実験結果から、PEFは、厳密な公平性制約と比較して、サブグループ間でのパフォーマンス劣化の不均衡を軽減している。
• 理論的分析により、PEFがパレートフロンティア上で公平性超平面に最も近い公平性最適化点を選択することが確認された。
• 歪んだデータセットにおけるパフォーマンスの均一な劣化を回避するという点で、PEFは公平性制約の代替として原理的かつ有効な選択肢を提供する。
• 特にデータクラスの不均衡が顕著な状況において、従来の手法と比較して、公平性とパフォーマンスのバランスをより効果的に実現している。