[論文レビュー] Preventing Fairness Gerrymandering: Auditing and Learning for Subgroup Fairness

Michael Kearns, Seth Neel+2 more|arXiv (Cornell University)|Nov 14, 2017

Ethics and Social Impacts of AI参考文献 11被引用数 303

ひとこと要約

本論文は、豊富なサブグループクラスにわたるサブグルーフェアネスの監査と学習を形式化し、監査が弱いアグノスティック学習と同等であることを証明し、フェアな分類器を学習するための2つの収束するゲームベースのアルゴリズムを提示する。

ABSTRACT

The most prevalent notions of fairness in machine learning are statistical definitions: they fix a small collection of pre-defined groups, and then ask for parity of some statistic of the classifier across these groups. Constraints of this form are susceptible to intentional or inadvertent "fairness gerrymandering", in which a classifier appears to be fair on each individual group, but badly violates the fairness constraint on one or more structured subgroups defined over the protected attributes. We propose instead to demand statistical notions of fairness across exponentially (or infinitely) many subgroups, defined by a structured class of functions over the protected attributes. This interpolates between statistical definitions of fairness and recently proposed individual notions of fairness, but raises several computational challenges. It is no longer clear how to audit a fixed classifier to see if it satisfies such a strong definition of fairness. We prove that the computational problem of auditing subgroup fairness for both equality of false positive rates and statistical parity is equivalent to the problem of weak agnostic learning, which means it is computationally hard in the worst case, even for simple structured subclasses. We then derive two algorithms that provably converge to the best fair classifier, given access to oracles which can solve the agnostic learning problem. The algorithms are based on a formulation of subgroup fairness as a two-player zero-sum game between a Learner and an Auditor. Our first algorithm provably converges in a polynomial number of steps. Our second algorithm enjoys only provably asymptotic convergence, but has the merit of simplicity and faster per-step computation. We implement the simpler algorithm using linear regression as a heuristic oracle, and show that we can effectively both audit and learn fair classifiers on real datasets.

研究の動機と目的

• 公平性のゲリーディングを回避する必要性を、指数的に多いサブグループを横断して監査することで動機づける。
• 保護グループの構造化クラスを用いてサブグルーフェアネスを形式化する。
• 監査と弱いアグノスティック学習の間の計算的同等性を確立する。
• サブグループに対してフェアな分類器の分布を学習する収束性のあるアルゴリズムを開発する。
• Fictitious Playアルゴリズムの実装を通じて実データ上での実用的有効性を実証する。

提案手法

• SP（統計的平等）とFP（偽陽性）サブグルーフェアネスを、サブグループ指標のクラスGに関して定義する。
• SP/FPフェアネスの監査を、関連分布の下でのGの弱いアグノスティック学習に等価であることを示す。
• 学習者と監査人の間の二人零和ゲームとしてサブグルーフェアネスを定式化し、最適応用問題をアグノスティック学習または監査オラクルに還元する。
• 二つのアルゴリズムを導出する： (i) Perturbed Leader（FTPL）を最適応回答監査と組み合わせ、近似ナッシュ均衡への多項対数時間収束を保証する； (ii) 両プレイヤーのFictitious Play、より単純で高速な毎ステップ計算と漸近的収束を実現。
• 実データ上で実用的有効性を示すために、回帰ベースのヒューリスティクスをアグノスティック学習オラクルと監査オラクルとして用いたFictitious Playの変種を実装する。

実験結果

リサーチクエスチョン

• RQ1 保護属性の構造化クラスによって定義される指数的に多いサブグループに対して、公平性制約を適用できるか。
• RQ2 サブグルーフェアネスの監査と弱いアグノスティック学習の計算関係は何か。
• RQ3 サブグループの制約の下で分類器の公正分布へ収束するアルゴリズムを設計できるか。
• RQ4 ゲーム理論的な定式化は、サブグループフェアな分類器を学習する実用的で収束的な方法を生み出すか。
• RQ5 多くの保護属性を持つ実データセット上で、これらの方法はどの程度の性能を示すか。

主な発見

• SPおよびFPのサブグルーフェアネスの監査は、分布P^Dの下でサブグループクラスGに対する弱いアグノスティック学習と計算的に等価である。
• 最悪の場合には困難性が生じるが、実際にはブースティング、ロジスティック回帰、SVMなどの学習からの実用的ヒューリスティクスが監査問題を解決できる。
• 二つの収束アルゴリズムを提供する：最適応回答監査を伴う多項式時間FTPLベースの方法と、より単純で漸近的に収束するFictitious Play法。
• FTPLアルゴリズムは近似ナッシュ均衡への多項式時間保証による収束をもたらす。
• Fictitious-Playアルゴリズムは実用的で、実データ上で、18の保護属性に対する線形閾値サブグループを用いたサブグループフェアな分類器の監査と学習を効果的に示す。
• 実データでの経験的評価は、非自明な誤差を持つサブグループフェア分類器の学習の実現性を示す。