[論文レビュー] Learning Non-Discriminatory Predictors

Blake Woodworth, Suriya Gunasekar+2 more|arXiv (Cornell University)|Feb 20, 2017

Face and Expression Recognition被引用数 124

ひとこと要約

この論文は、保護属性に関して平等化オッズを満たす予測子の学習を分析し、事後補正が最適でない場合があることを示し、二段階学習アプローチの統計的最適性を証明する一方で、拘束を課さない場合には計算的困難が生じる。次に、扱いやすい学習のための二次モーメント緩和（等化された相関）を提案する。

ABSTRACT

We consider learning a predictor which is non-discriminatory with respect to a "protected attribute" according to the notion of "equalized odds" proposed by Hardt et al. [2016]. We study the problem of learning such a non-discriminatory predictor from a finite training set, both statistically and computationally. We show that a post-hoc correction approach, as suggested by Hardt et al, can be highly suboptimal, present a nearly-optimal statistical procedure, argue that the associated computational problem is intractable, and suggest a second moment relaxation of the non-discrimination definition for which learning is tractable.

研究の動機と目的

• 保護属性 A に関する平等化オッズを用いて、教師あり学習における非差別を動機づけ、 formalizeする。
• 事後補正手法が非差別を実現する際の限界を示す。
• 有限サンプルから非差別的な予測子を生み出すための統計的に最適な学習フレームワークを開発する。
• 正確な非差別的予測子の学習が計算的に困難であることを示し、扱える緩和を特定する。

提案手法

• 等化オッズを定義し、それを二項設定のグループ条件真陽性率/偽陽性率と関連づける。
• 0-1、ヒンジ、二乗損失における事後補正のサブ最適性と、restrictedな仮説クラスにおける事後処理の限界を実証する。
• 二段階の学習フレームワークを提案する：Step 1 は近似的な非差 discrimination制約を用いて経験的リスク最小化器を訓練する；Step 2 は訓練後補正を適用して非差別的な予測子を導出する。
• 二段階フレームワークに対する統計的保証を提供する：損失と差別の有限サンプル保証；第二段階での仮説クラスへの依存性の除去。

実験結果

リサーチクエスチョン

• RQ1 事後補正は、共通の損失と仮説クラスに対して、真に非差別的な予測子と比較してどのような性能差が生じるか。
• RQ2 有限サンプルの学習手続きが、等化オッズの下で近似的な非差別を強制しつつ、ほぼ最適な精度を達成できるか。
• RQ3 非差別的な二値予測子の学習は計算的に実現可能か、実現不可であれば、どの緩和が扱える学習を可能にするか。
• RQ4 最初に近似的な非差別を強制し、その後予測子を補正する二段階フレームワークの統計的保証は何か。
• RQ5 二次モーメントの緩和（等化された相関）は、ガウス仮定の下で二乗損失に対して等化オッズと性能の点でどのように比較されるか。

主な発見

• 事後補正は、差別化制約下で0-1、ヒンジ、さらには二乗損失において高度にサブ最適になり得る。
• 有限データから非差別的な予測子を学ぶには、学習過程に非差別を組み込む必要があり、事後処理だけでは不十分である。
• 有限サンプル保証を伴うほぼ最適な損失と制御された差別を達成する二段階学習手続きはあるが、正確な非差別的二値予測子を計算的に解くことは困難である。
• 二次モーメント条件（等化された相関）への緩和は、凸損失と線形予測子に対して学習を扱いやすくし、ガウス仮定の下で二乗損失は等化オッズと同等である。