[論文レビュー] Residual Unfairness in Fair Machine Learning from Prejudiced Data

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|Jun 7, 2018

Ethics and Social Impacts of AI参考文献 14被引用数 44

ひとこと要約

この論文は、検閲された偏った訓練データに対する公正性の調整が、ターゲット集団において残留する不公正を生む可能性があることを示し、偏りを評価・修正するためのサンプルリウェイトを提案し、SQFデータで例示している。

ABSTRACT

Recent work in fairness in machine learning has proposed adjusting for fairness by equalizing accuracy metrics across groups and has also studied how datasets affected by historical prejudices may lead to unfair decision policies. We connect these lines of work and study the residual unfairness that arises when a fairness-adjusted predictor is not actually fair on the target population due to systematic censoring of training data by existing biased policies. This scenario is particularly common in the same applications where fairness is a concern. We characterize theoretically the impact of such censoring on standard fairness metrics for binary classifiers and provide criteria for when residual unfairness may or may not appear. We prove that, under certain conditions, fairness-adjusted classifiers will in fact induce residual unfairness that perpetuates the same injustices, against the same groups, that biased the data to begin with, thus showing that even state-of-the-art fair machine learning can have a "bias in, bias out" property. When certain benchmark data is available, we show how sample reweighting can estimate and adjust fairness metrics while accounting for censoring. We use this to study the case of Stop, Question, and Frisk (SQF) and demonstrate that attempting to adjust for fairness perpetuates the same injustices that the policy is infamous for.

研究の動機と目的

• 過去の偏りによる体系的なデータ検閲が、学習されたポリシーの公正性にどのように影響するかを形式化する。
• 公正性調整の後に残留する不公正が生じる条件を特徴づける。
• 検閲下でターゲット集団の公正性指標を推定するためのサンプルリウェイティングを提案する。
• このフレームワークを実世界データ（SQF）に適用し、偏見の伝播と調整を実証する。
• MAR（欠損がランダムであると仮定する）検閲の下で公正性を評価・修正するための指針を提供する。

提案手法

• 真の母集団での公正性を研究するために、ログ記録／検閲機構 Z とターゲット母集団 T を定義する。
• 機会の平等と同等のオッズを公正性の基準として用い、グループごとにスコアベースの後処理閾値を導出する。
• トレーニングデータの公正性がターゲット集団に翻訳されない場合の公正性損失の指標として、機会の残留的不平等を導入する。
• スコア分布と一階確率的優越性に関する命題を用いて残留的不公正を特徴づける（バイアス伝播の十分条件）。
• MAR（仮定 MAR）の下で検閲データからターゲット母集団の指標を推定するために、傾向比 ˜p(x, a) を用いたサンプルリウェイティングを提案する。
• Stop, Question, and Frisk (SQF) の事例研究でこの方法を実証し、検閲が公正性の調整にどのように影響するかを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 訓練データの検閲が、公正性の調整を適用した後に残留する不公正を引き起こす条件は何か？
• RQ2 ターゲット母集団における保護群間の機会の残留的不平等を、どのように定量化・検出できるか？
• RQ3 データが MAR で Z（ログ）と T（ターゲット）母集団が異なる場合、サンプルリウェイティングはターゲット母集団の公正性指標を回復できるか？
• RQ4 実世界の偏ったポリシー（SQF）は、公正な機械学習における bias-in, bias-out をどのように示すか？

主な発見

• 検閲データに基づく公正性の調整は、訓練データで偏見を受けた同じ保護群を不利にする残留的不公正を生み出す可能性がある。
• 命題は、ログポリシーにおける差別的な“疑わしさの利得”がターゲット母集団で非ゼロの機会の不平等に翻訳されることを示している。
• 強い・弱い“疑わしさの利得”条件は、多くの非自明な導出された機会均等分類器が検閲下で不公正になることを示唆している。
• MARに基づくサンプルリウェイティングは、検閲データからターゲット母集団の真の陽性率/偽陽性率を推定する方法を提供する。
• SQF の分析は、訓練データとターゲット母集団が地理的・人口統計学的に異なる場合、公正性の修正が不正を永続化させ得ることを示している。