[論文レビュー] An algorithm for removing sensitive information: application to race-independent recidivism prediction

James E. Johndrow, Kristian Lum|arXiv (Cornell University)|Mar 15, 2017

Criminal Justice and Corrections Analysis被引用数 6

ひとこと要約

本論文は、保護変数（例：人種）との予測の統計的独立性を保証するようにデータを変換することにより、予測モデルから機微な情報を除去する一般化された確率的フレームワークを提案する。犯罪再犯予測に応用したところ、予測精度の損失を最小限に抑えながら人種に偏りのない結果を達成し、人種変数を単に除外する手法を上回る性能を示した。

ABSTRACT

Predictive modeling is increasingly being employed to assist human decision-makers. One purported advantage of replacing or augmenting human judgment with computer models in high stakes settings-- such as sentencing, hiring, policing, college admissions, and parole decisions-- is the perceived "neutrality" of computers. It is argued that because computer models do not hold personal prejudice, the predictions they produce will be equally free from prejudice. There is growing recognition that employing algorithms does not remove the potential for bias, and can even amplify it if the training data were generated by a process that is itself biased. In this paper, we provide a probabilistic notion of algorithmic bias. We propose a method to eliminate bias from predictive models by removing all information regarding protected variables from the data to which the models will ultimately be trained. Unlike previous work in this area, our framework is general enough to accommodate data on any measurement scale. Motivated by models currently in use in the criminal justice system that inform decisions on pre-trial release and parole, we apply our proposed method to a dataset on the criminal histories of individuals at the time of sentencing to produce "race-neutral" predictions of re-arrest. In the process, we demonstrate that a common approach to creating "race-neutral" models-- omitting race as a covariate-- still results in racially disparate predictions. We then demonstrate that the application of our proposed method to these data removes racial disparities from predictions with minimal impact on predictive accuracy.

研究の動機と目的

• 犯罪司法など、意思決定に深刻な影響を及える予測モデルにおけるアルゴリズム的バイアスを是正すること。歴史的データに制度的不平等が埋め込まれている可能性があるため。
• 人種変数を特徴量から除外すれば公平性が保証されるという一般的な仮定に反論し、人種関連の変数と相関する他の変数が依然として偏った予測を生じることを示すこと。
• 保護変数に関するすべての情報をデータから除去する一般化可能な手法を開発し、予測がこれらの変数と統計的に独立することを保証すること。
• 独立性基準に基づく公平性を達成しつつ、高い予測性能（例：AUC）を維持すること。
• 複数の組織で再訓練や公平性基準の再定義なしに、公平なモデル学習を可能にするデータ変換アプローチを提供すること。

提案手法

• 本手法は、保護変数（例：人種）が結果および他のすべての予測子と統計的に独立になるように、特徴量の連合分布を変換する確率的データ変換を用いる。
• 条件付き独立制約を適用する：変換された特徴量が与えられたもとで、予測結果が保護変数と独立である必要がある。
• データ分布の再重み付けまたは再パラメータライゼーションにより変換を実現し、予測構造に保護変数に関する情報が残らないように保証する。
• 連続変数、カテゴリカル変数、混合データタイプを含む、任意の測定スケールに適用可能である。
• 学習中のモデル制約ではなく、モデル適合の前に行われる訓練データの変更によって実装される。
• 実データセット（判決時の犯罪歴）を用いて検証し、人種を保護変数とし、再犯を結果として用いた。

実験結果

リサーチクエスチョン

• RQ1 予測モデルから人種変数を除外しても、再犯予測における人種的差別の是正が本当に達成されるのか？
• RQ2 一般化可能なデータ変換手法は、保護変数に関する情報を完全に除去しつつ、予測精度を維持できるか？
• RQ3 予測が保護変数と統計的に独立になるようにすることは、モデル性能を損なわずに行えるか？
• RQ4 標準的手法（例：特徴量の除外）と比較して、本手法は公平性と精度の両面で優れているか？
• RQ5 連続的または多次元の保護変数に対しても本手法は適用可能か？また、上位x名ごとのクラス選択といった代替手法にはどのような限界があるか？

主な発見

• 人種変数を特徴量から除外しても、他の変数との相関により人種的差別の予測が依然として生じることを確認し、欠落変数バイアスの存在を裏付けた。
• 提案手法によるデータ変換により、予測と人種との間で統計的独立性が達成され、独立性基準に基づく公平性が満たされた。
• 変換後も、AUCで測定される予測性能は、現在使用されているモデルと同等の水準を維持しており、精度への影響が最小限であることが示された。
• ロジスティック回帰やランダムフォレストなどの下流モデルにかかわらず、予測が公平であることが保証される。これは、公平性がデータに埋め込まれているため。
• 本手法は、任意の測定スケールのデータに対して頑健であり、特に複数の保護変数が関与する場合に、離散化に基づく公平性手法の欠点を回避する。
• 本研究は、モデル設計だけでは公平性を保証できないこと、間接的バイアスを排除するにはデータレベルの干渉が必要であることを示した。