[論文レビュー] From Parity to Preference-based Notions of Fairness in Classification

Muhammad Bilal Zafar, Isabel Valera+3 more|arXiv (Cornell University)|Jun 30, 2017

Experimental Behavioral Economics Studies被引用数 106

ひとこと要約

この論文は、 envy-freeness および bargaining に触発された binary classification のための好みベースの公平性 notions— preferred treatment および preferred impact —を導入し、parity-based fairness よりも accuracy を向上させる convex proxies を提供し、オープンソースコードを公開する。

ABSTRACT

The adoption of automated, data-driven decision making in an ever expanding range of applications has raised concerns about its potential unfairness towards certain social groups. In this context, a number of recent studies have focused on defining, detecting, and removing unfairness from data-driven decision systems. However, the existing notions of fairness, based on parity (equality) in treatment or outcomes for different social groups, tend to be quite stringent, limiting the overall decision making accuracy. In this paper, we draw inspiration from the fair-division and envy-freeness literature in economics and game theory and propose preference-based notions of fairness -- given the choice between various sets of decision treatments or outcomes, any group of users would collectively prefer its treatment or outcomes, regardless of the (dis)parity as compared to the other groups. Then, we introduce tractable proxies to design margin-based classifiers that satisfy these preference-based notions of fairness. Finally, we experiment with a variety of synthetic and real-world datasets and show that preference-based fairness allows for greater decision accuracy than parity-based fairness.

研究の動機と目的

• 分類における parity-based fairness の緩和を促し、グループの好みを可能にする。
• envy-freeness および bargaining の概念に基づく、 preferred treatment および preferred impact の2つの概念を形式化する。
• これらの概念の下でグループ条件付き分類器を訓練するための、扱いやすい凸代理（DCCP）を開発する。
• 現実データおよび合成データで、好みベースの公平性が parity-based fairness より高い精度を達成できることを実証的に示す。

提案手法

• 品質指標を定義する: ユーティリティ（全体の正確さ）とセンシティブグループのグループベネフィット。
• preferred treatment および preferred impact を envy-free および Pareto-dominance に基づくグループ向けの基準として形式化する。
• ramp/hinge のような制約を持つグループ条件付き分類器を訓練するための convex-concave プログラム（DCCP）緩和を提案する。
• 凸ロジスティック回帰と SVM 境界で具体化し、group-benefit 制約を組み込んだ訓練問題を導出する。
• このスキームのオープンソース実装を提供する。
• 非線形分類器への拡張と Appendix ベースの一般化について議論する。

実験結果

リサーチクエスチョン

• RQ1 parity を preference-based notion に緩和することで、公平性の性質を損なうことなく全体の精度を向上させることができるか。
• RQ2 preferred treatment または preferred impact を満たすグループ条件付き分類器を、どのように効率的に訓練できるか。
• RQ3 現実データセット（COMPAS、Adult、NYPD SQF）は parity-based 方法と比較して、好みベースの公平性の恩恵を受けるか。

主な発見

• 好みベースの公平性は、合成データセットおよび実データセットでしばしば parity-based fairness より高い精度をもたらす。
• Preferred treatment は、 parity より安価に良好な公平性と精度のトレードオフを持つグループ条件付き分類器を可能にする。
• Preferred impact は、parity より少ない精度損失でより良いグループベネフィットを達成し、データセットごとに異なる利得を示す。
• 組み合わせた preferred treatment および preferred impact は、個別の概念の利点と同等またはそれを上回ることがあるが、データによっては精度コストが大きくなる場合がある。