[論文レビュー] What is Fair? Exploring Pareto-Efficiency for Fairness Constrained Classifiers

Ananth Balashankar, Alyssa Lees+2 more|arXiv (Cornell University)|Oct 30, 2019

Psychology of Moral and Emotional Judgment被引用数 4

ひとこと要約

この論文は、感度属性ごとのサブグループの精度を最適化するため、パレート最適な性能点（Pareto frontier）に基づいてモデルを選択することで、代表されないグループの性能低下を回避する、パレート効率的公平性（Pareto-Efficient Fairness, PEF）という公平性制約を提案する。バイアス重み付きパレート損失関数を用いることで、公平性と性能のバランスを図ることで、UCIデータセット上でのすべてのサブグループにおける精度を、厳密な公平性制約を上回る。

ABSTRACT

The potential for learned models to amplify existing societal biases has been broadly recognized. Fairness-aware classifier constraints, which apply equality metrics of performance across subgroups defined on sensitive attributes such as race and gender, seek to rectify inequity but can yield non-uniform degradation in performance for skewed datasets. In certain domains, imbalanced degradation of performance can yield another form of unintentional bias. In the spirit of constructing fairness-aware algorithms as societal imperative, we explore an alternative: Pareto-Efficient Fairness (PEF). Theoretically, we prove that PEF identifies the operating point on the Pareto curve of subgroup performances closest to the fairness hyperplane, maximizing multiple subgroup accuracy. Empirically we demonstrate that PEF outperforms by achieving Pareto levels in accuracy for all subgroups compared to strict fairness constraints in several UCI datasets.

研究の動機と目的

• 機械学習において、厳密な公平性制約を課した際の、代表されないサブグループにおける性能低下の問題に対処すること。
• すべてのサブグループの精度を最大化するが、公平性を犠牲にしない公平性に配慮した学習フレームワークを提案すること。
• パレート効率性が、公平性制約付き分類において、硬い等価制約のよりバランスが取れて効果的な代替手段であることを示すこと。
• 実世界のスケールの偏ったデータセットにおいて、PEFが既存の公平性アルゴリズムよりも高いグローバルおよびサブグループ精度を達成することを実証的に示すこと。

提案手法

• パレート最適な性能点への距離を最小化することで、全体の精度とサブグループの公平性のバランスを取るパレート損失関数を導入する。
• トランスファーラーニングを用いて反復的にパレート最適なモデルを探索し、公平性を維持しながらサブグループの性能を向上させる。
• グローバル精度とパレート効率性のトレードオフを1つのバイアス損失重み（λ）で制御し、サブグループ間で均等な重み付けを行うことで、多数派の支配を回避する。
• データの偏りに強く、頻度加重公平性の欠点を避けるために、サブグループの損失に均等な重みを適用する。
• 複数の感度属性を有する多クラス分類に適用し、容量の異なるフィードフォワードニューラルネットワークを用いる。
• 前処理段階でサブグループの擬似最適精度を計算し、パレートフロンティア探索をガイドすることで、データの偏りに対してロバストな性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 代表されないサブグループにおける性能低下を回避しつつ、すべてのグループの精度を向上させる公平性制約を設計できるか？
• RQ2 パレート効率的公平性（PEF）は、サブグループの精度とグローバルパフォーマンスの観点で、厳密な等価制約と比べてどのように異なるか？
• RQ3 サブグループ損失に均等な重み付けを行うことで、公平性最適化モデルにおける「多数派の支配（tyranny of the majority）」を防げるか？
• RQ4 モデル容量が、パレート損失関数によって得られる利益にどの程度影響を与えるか？
• RQ5 PEFは、実世界のデータセットにおいて、等価オッズや敵対的マルチタスク学習といった既存の公平性アルゴリズムを上回ることができるか？

主な発見

• UCI Adult、German Credit、Heart Attackデータセットにおいて、PEFは厳密な公平性制約を上回り、すべてのサブグループの精度が向上した。
• UCI Adultデータセットでは、PEFがベースライン手法と比較して、サブグループ精度を最大で12.5%向上させ、モデルが大きいほどその向上幅が増加した。
• パレート損失関数は、等価オッズ損失と比較して、20〜30%のパレート損失の低減を達成した。特にモデル容量が増加するにつれて顕著であった。
• 損失関数におけるサブグループの均等な重み付けにより、多数派グループが公平性最適化を支配するのを防ぎ、誤った公平性指標を回避した。
• グローバルおよびサブグループ精度の両面で、敵対的マルチタスク学習やハード制約ベースラインを上回った。
• 合成データでは、PEFはパレートフロンティア上の点（0.71, 0.63）を選択し、厳密等価点（0.6, 0.6）よりも両方のサブグループの精度を向上させた。