[論文レビュー] Fast Threshold Tests for Detecting Discrimination

Emma Pierson, Sam Corbett‐Davies+1 more|arXiv (Cornell University)|Feb 27, 2017

Statistical Methods and Inference参考文献 26被引用数 16

ひとこと要約

この論文は、[0,1] 上の連続的分布の計算的に効率的な族、すなわち判別分布を導入し、差別検出のしきい値テストにおけるベイズ推論を高速化する。しきい値テストモデルにおいてベータ分布の代わりに判別分布を用いることで、推論時間を75倍以上高速化し、計算時間を数時間から数分に短縮した。これにより、270万件のNYPDストップデータや2200万件の全国的交通ストップデータベースといった大規模データセットのスケーラブルな分析が可能になった。

ABSTRACT

Threshold tests have recently been proposed as a useful method for detecting bias in lending, hiring, and policing decisions. For example, in the case of credit extensions, these tests aim to estimate the bar for granting loans to white and minority applicants, with a higher inferred threshold for minorities indicative of discrimination. This technique, however, requires fitting a complex Bayesian latent variable model for which inference is often computationally challenging. Here we develop a method for fitting threshold tests that is two orders of magnitude faster than the existing approach, reducing computation from hours to minutes. To achieve these performance gains, we introduce and analyze a flexible family of probability distributions on the interval [0, 1] -- which we call discriminant distributions -- that is computationally efficient to work with. We demonstrate our technique by analyzing 2.7 million police stops of pedestrians in New York City.

研究の動機と目的

• 差別検出のためのベイズ潜在変数モデルのしきい値テストにおける計算的非実行可能性に対処すること。
• 推論を高速化できる、[0,1] 上の柔軟で計算的に効率的な分布族を開発すること。
• 270万件のNYPDストップや2200万件の全国的交通ストップといった大規模データセットへのしきい値テストのスケーリングすること。
• 歩行者を停止する意思決定など、部分的に観測された意思決定に対してもしきい値テストを拡張すること。
• 計算リソースが限られた政策分析家にとっても利用可能なしきい値テストのアクセシビリティを向上させること。

提案手法

• ベータ分布の代わりに、ロジット正規混合分布の部分集合たる判別分布を、しきい値テストに導入する。
• 累積分布関数（CDF）および条件付き期待値が解析的に扱いやすく、計算的に効率的なように、判別分布を設計する。
• ハミルトニアン・モンテカルロ（HMC）における条件付きベータ分布の高コストな勾配評価を、判別分布を用いた高速な演算に置き換える。
• ベイズ階層モデルを用いて、観測済みの意思決定（例：検査結果）および部分的に観測された意思決定（例：停止意思決定）の両方に対して、修正されたしきい値テストを適用する。
• 判別分布を用いたHMC推論により、変分近似よりも優れたモデルフィットを得る完全なベイズ後部確率推論を実現する。
• ロバストネスのチェック（例えば、歩行者の人種構成に関する仮定を変えての検証）および事後予測チェックを含む、性能の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 [0,1] 上の連続的分布の新たな族が、差別検出のためのしきい値テストにおけるベイズ推論を著しく高速化できるか？
• RQ2 しきい値テストモデルにおいてベータ分布を判別分布に置き換えることで、計算時間の短縮と同時にモデルフィットが維持または向上するか？
• RQ3 停止意思決定のように、部分的に観測された意思決定に対しても、しきち値テストを拡張してバイアスを検出できるか？
• RQ4 歩行者の人種構成に関する仮定の変化に対して、推定されたしきい値はどれほど安定しているか？
• RQ5 加速された手法は、元のしきい値テストでは計算限界により解析が困難だった全国規模のデータセットに適用可能か？

主な発見

• 判別分布モデルは、元のベータベースのモデルと比較して推論時間を77倍短縮し、ストップモデルのフィッティング時間を15,943秒から208秒に削減した。
• この高速化により、ロバストネスチェックを約100回実行できるようになった。これは元の方法では1か月以上かかる計算量を、新しいアプローチでは1日未満で実現できた。
• サンプリング効率は75倍向上し、有効サンプルあたりのサンプリングが84倍速くなり、統合ステップが37倍速くなった。
• ロバストネスチェックの結果、人種構成に関する仮定を変えてみても、BlackおよびHispanicの歩行者に対する推定しきい値は、Whiteの歩行者と比較して一貫して低く保たれた。Blackは0.8–1.2%、Hispanicは1.8–2.1%、Whiteは5.7–6.1%であった。
• 判別分布を用いたHMCは、ベータ分布を用いた変分近似よりも顕著に優れたモデルフィットを達成した。ストップ率のRMSEは0.2%（HMC）対0.9%（変分近似）で4倍低く、ヒット率のRMSEは0.7%（HMC）対1.3%（変分近似）で2倍低かった。
• この手法により、2200万件の交通ストップデータを1つの全国的モデルとして30分でフィッティング可能になった。これは、元の方法では計算限界のため、州レベルにデータを分割して解析する必要があった。