[論文レビュー] Fair Classification and Social Welfare

Lily Hu, Yiling Chen|arXiv (Cornell University)|May 1, 2019

Ethics and Social Impacts of AI参考文献 34被引用数 4

ひとこと要約

この論文は、機械学習分類を社会的福祉最大化問題として定式化し、公平性制約を効用結果に関連付ける。より厳しい公平性制約——例えばパラティーションに基づく公平性——は、個人および集団の両方の総合的福祉を低下させることを示しており、『より公平である』ことが常に不利な立場にある集団にとって『より良い』とは限らないという仮定に疑問を呈する。

ABSTRACT

Now that machine learning algorithms lie at the center of many resource allocation pipelines, computer scientists have been unwittingly cast as partial social planners. Given this state of affairs, important questions follow. What is the relationship between fairness as defined by computer scientists and notions of social welfare? In this paper, we present a welfare-based analysis of classification and fairness regimes. We translate a loss minimization program into a social welfare maximization problem with a set of implied welfare weights on individuals and groups--weights that can be analyzed from a distribution justice lens. In the converse direction, we ask what the space of possible labelings is for a given dataset and hypothesis class. We provide an algorithm that answers this question with respect to linear hyperplanes in $\mathbb{R}^d$ that runs in $O(n^dd)$. Our main findings on the relationship between fairness criteria and welfare center on sensitivity analyses of fairness-constrained empirical risk minimization programs. We characterize the ranges of $Δε$ perturbations to a fairness parameter $ε$ that yield better, worse, and neutral outcomes in utility for individuals and by extension, groups. We show that applying more strict fairness criteria that are codified as parity constraints, can worsen welfare outcomes for both groups. More generally, always preferring "more fair" classifiers does not abide by the Pareto Principle---a fundamental axiom of social choice theory and welfare economics. Recent work in machine learning has rallied around these notions of fairness as critical to ensuring that algorithmic systems do not have disparate negative impact on disadvantaged social groups. By showing that these constraints often fail to translate into improved outcomes for these groups, we cast doubt on their effectiveness as a means to ensure justice.

研究の動機と目的

• 機械学習における公平性と社会的福祉経済学の関係を分析すること。
• 現在の形で定式化された公平性制約が、不利な立場にある集団の福祉結果を実際に改善するかどうかを調査すること。
• 損失最小化を社会的福祉最大化に変換する枠組みを構築し、解釈可能な福祉重みを提供すること。
• 公平性制約の摂動が分類器の効用および集団の結果に与える影響を特徴づけること。
• 線形ハイパーハイパーパス分類器の下で達成可能なすべてのラベリングを計算するアルゴリズムを提供すること。

提案手法

• 経験的リスク最小化を社会的計画者の問題に再定式化し、個々の効用の重み付き和を最大化する。
• 最適な分類結果から福祉重みを導出し、分類器の意思決定を社会的資源配分として解釈可能にする。
• d次元空間における線形ハイパーハイパーパスの下で達成可能なすべてのラベリングを計算するO(ndd)のアルゴリズムを提案する。
• パrametric programmingと感度分析を用いて、公平性許容度ϵの摂動が与える影響を調査する。
• ラグランジュ乗数とシャドウプライスを用いて、ϵの変化に対する公平性制約の局所的感度を測定する。
• 摂動関数を用いて福祉損失のグローバルな下限を導出し、制約の強化または緩和の非対称的解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 機械学習における公平性制約は、個人および集団の社会的福祉結果とどのように関係するか？
• RQ2 パラティションに基づく公平性のようなより厳しい公平性制約は、集団の両方の福祉結果を悪化させる可能性があるか？
• RQ3 公平性許容度パラメータϵの摂動が分類器の効用および集団の福祉に与える影響は何か？
• RQ4 与えられた仮説クラスとデータセットの下で、達成可能なすべてのラベリングを体系的に計算する方法は何か？
• RQ5 公平性指標は、個人および集団の福祉の実際の改善とどの程度一致するか？

主な発見

• パラティション制約として定式化されたより厳しい公平性制約は、個人および集団の両方の福祉結果を悪化させ、『より公平である』ことが常に良いとは限らないという仮定に反する。
• 公平性パラメータϵを強化する（すなわち、制約を厳しくする）と、学習者の損失が増加し、不利な立場にある集団の結果が改善されるとは限らない。
• 公平性制約のシャドウプライスが高い場合、ϵを強化すると福祉損失が著しく増加し、高いトレードオフを示す。
• シャドウプライスが低い場合、公平性制約を緩和しても損失の減少はわずかであり、制約変更に対する非対称的感度が示唆される。
• 損失最小化の下での最適分類器は、特定の暗黙の福祉重みの下で福祉最大化の配分に対応しており、これはモデルの予測から導出可能である。
• ∆ϵ < 0 の摂動（すなわち、公平性制約の強化）は、非ゼロのϵ-公平解から出発しても、分類器の性能を著しく悪化させることがある。