[論文レビュー] Probably Approximately Metric-Fair Learning

Guy N. Rothblum, Gal Yona|arXiv (Cornell University)|Mar 8, 2018

Machine Learning and Algorithms参考文献 23被引用数 43

ひとこと要約

本論文は、指標的公正学習のための緩和された PACF フレームワークを導入し、一般化保証を証明するとともに、線形およびロジスティック予測子に対する多項式時間の PACF 学習器を提供し、完全な metric-fairness の難しさを示す。

ABSTRACT

The seminal work of Dwork {\em et al.} [ITCS 2012] introduced a metric-based notion of individual fairness. Given a task-specific similarity metric, their notion required that every pair of similar individuals should be treated similarly. In the context of machine learning, however, individual fairness does not generalize from a training set to the underlying population. We show that this can lead to computational intractability even for simple fair-learning tasks. With this motivation in mind, we introduce and study a relaxed notion of {\em approximate metric-fairness}: for a random pair of individuals sampled from the population, with all but a small probability of error, if they are similar then they should be treated similarly. We formalize the goal of achieving approximate metric-fairness simultaneously with best-possible accuracy as Probably Approximately Correct and Fair (PACF) Learning. We show that approximate metric-fairness {\em does} generalize, and leverage these generalization guarantees to construct polynomial-time PACF learning algorithms for the classes of linear and logistic predictors.

研究の動機と目的

• 全体集団に跨る一般化を可能にするために、完全な metric-fairness を緩和して近似的な metric-fairness に動機づける。
• 公正性と最良の精度のバランスをとるフレームワークとして PACF 学習を開発する。
• リダマッハー複雑性を用いた近似的 metric-fairness の一般化境界を確立する。
• 線形およびロジスティック予測子に対する効率的な（多項式時間の） PACF アルゴリズムを提供する。
• 完全な metric-fairness に対する困難性の結果と対比し、緩和アプローチを正当化する。

提案手法

• パラメータ (α, γ) および失敗確率 δ を用いて近似的 metric-fairness (MF) を定義する。
• MF を、最良の近似 MF 予測子に対する精度保証と組み合わせた Probably Approximately Correct and Fair (PACF) 学習を定式化する。
• リダマッハー複雑性を用いて、公平性と一般化の境界を証明し、MF の訓練が母集団 MF を意味することを保証する。
• 有界な経験的 MF 損失と凸な MF 違反制約を介して、線形予測子 (H_lin) の多項式時間の緩和 PACF 学習器を設計する。
• カーネルベースの不適切学習と多項式カーネルを用いた RHKS による凸化を利用して、ロジスティック予測子 (H_{φ,L}) に拡張し、緩和 PACF の結果を達成する。
• 完全な MF と近似 MF を対比する情報理論的および計算的困難性の議論を提供する。

実験結果

リサーチクエスチョン

• RQ1 近似的 metric-fairness は有限サンプルから基礎母集団へ一般化できるか？
• RQ2 MF 制約下での PACF 学習のサンプル複雑性と一般化保証は何か？
• RQ3 MF 下で線形およびロジスティック予測子のための効率的（多項式時間）PACF 学習器を設計できるか？
• RQ4 MF（α, γ）を緩和すると、最良の近似 MF 予測子に対する精度保証にどう影響するか？
• RQ5 完全な metric-fairness の計算的障壁は何か、そして MF の緩和がこれらの障壁を回避するか？

主な発見

• 近似 MF は一般化する：あるサンプルにおける経験的 MF は、母集団分布上の MF を高い確率で意味する（Theorem 1.3）。
• 情報理論的に強い PACF 学習可能性は、MF クラスの標準的な PAC 学習に近いサンプル複雑性で達成可能。
• 線形予測子 (H_lin) の多項式時間の緩和 PACF 学習器が、1/ε のパラメータとサンプルサイズに対して多項式時間複雑性で存在。
• ロジスティック予測子 (H_{φ,L}) の多項式時間の緩和 PACF 学習器は、カーネルベースの埋め込みによる Lipschitz パラメータ L の指数的依存性を持つ。
• 完全な metric-fairness の場合、単純な予測子でも難しいタスクが残るため、近似 MF（PACF）への移行を正当化する。
• H_lin は緩和 PACF 学習可能性を達成する；H_{φ,L} はカーネル化を伴う緩和された意味で学習可能であり、どちらも MF 制約下で競争力のある精度を維持する。