[論文レビュー] ProPublica's COMPAS Data Revisited

Matias Barenstein|arXiv (Cornell University)|Jun 11, 2019

Ethics and Social Impacts of AI参考文献 6被引用数 5

ひとこと要約

この論文は、広く使われているProPublicaのCOMPAS再犯データセットにおける重要なデータ処理誤りを特定している：ProPublicaは再犯者に対して2年間のスクリーニング日付カットオフを適用していなかったため、2年間の再犯率が24.3%上昇した（36.2%から45.1%に）。著者はこのカットオフを再犯者・非再犯者に一貫して適用することで是正し、PPVおよびNPVといった重要な公平性指標が顕著に影響を受ける一方で、FPR、FNR、正答率はほとんど変化しないことを示している。

ABSTRACT

I examine the COMPAS recidivism risk score and criminal history data collected by ProPublica in 2016 that fueled intense debate and research in the nascent field of 'algorithmic fairness'. ProPublica's COMPAS data is used in an increasing number of studies to test various definitions of algorithmic fairness. This paper takes a closer look at the actual datasets put together by ProPublica. In particular, the sub-datasets built to study the likelihood of recidivism within two years of a defendant's original COMPAS survey screening date. I take a new yet simple approach to visualize these data, by analyzing the distribution of defendants across COMPAS screening dates. I find that ProPublica made an important data processing error when it created these datasets, failing to implement a two-year sample cutoff rule for recidivists in such datasets (whereas it implemented a two-year sample cutoff rule for non-recidivists). When I implement a simple two-year COMPAS screen date cutoff rule for recidivists, I estimate that in the two-year general recidivism dataset ProPublica kept over 40% more recidivists than it should have. This fundamental problem in dataset construction affects some statistics more than others. It obviously has a substantial impact on the recidivism rate; artificially inflating it. For the two-year general recidivism dataset created by ProPublica, the two-year recidivism rate is 45.1%, whereas, with the simple COMPAS screen date cutoff correction I implement, it is 36.2%. Thus, the two-year recidivism rate in ProPublica's dataset is inflated by over 24%. This also affects the positive and negative predictive values. On the other hand, this data processing error has little impact on some of the other key statistical measures, which are less susceptible to changes in the relative share of recidivists, such as the false positive and false negative rates, and the overall accuracy.

研究の動機と目的

• 広く使われているProPublicaのCOMPAS再犯データセットの整合性を調査すること。このデータセットは、アルゴリズム公平性研究の多くを支えている。
• 2年間の再犯データセット作成における重要なデータ処理誤りを特定・是正すること。
• この誤りが再犯率、PPV、NPV、FPR/FNRといった重要な公平性指標に与える影響を評価すること。
• アルゴリズム公平性研究のためのベンチマークデータセットにおいて、データ品質と処理プロセスの透明性の重要性を強調すること。
• 是正済みデータセットを提供し、その構築プロセスを厳密に検証しないままデータセットを利用することのリスクを指摘すること。

提案手法

• 著者は、被告のCOMPASスクリーニング日付の分布を分析することで、データ処理における不整合を特定した。
• 再犯者および非再犯者に一貫して2年間のスクリーニング日付カットオフルールを適用し、ProPublicaの元々の非対称的処理を是正した。
• 是正済みデータセットを用いて、再犯率、PPV、NPV、FPR、FNR、正答率といった主要統計指標を再計算した。
• 元のProPublica統計と是正済みデータセットからの統計を比較することで、是正による影響を定量的に評価した。
• 分析は、公平性研究で最も頻繁に使用される2年間一般再犯データセットに限定した。
• 視覚的および統計的分析を通じて、元のデータセットに再犯者の割合が著しく不均衡に偏っていることが示された。

実験結果

リサーチクエスチョン

• RQ1 ProPublicaは、2年間の再犯データセット作成において、再犯者および非再犯者に一貫した2年間のスクリーニング日付カットオフルールを適用していたか？
• RQ2 欠落したカットオフルールが2年間の再犯率に与える定量的影響は何か？
• RQ3 このデータ処理誤りが、陽性予測値（PPV）および陰性予測値（NPV）といった重要な公平性指標に与える影響は？
• RQ4 誤りが偽陽性率（FPR）、偽陰性率（FNR）、および正答率に与える影響の程度はどの程度か？
• RQ5 このデータ処理誤りが、このデータセットを用いたアルゴリズム公平性研究の妥当性に及ぼす広範な影響は何か？

主な発見

• ProPublicaは再犯者に対して2年間のスクリーニング日付カットオフを適用しておらず、非再犯者には適用していたため、2年間のデータセットに再犯者が系統的に過剰に含まれていた。
• ProPublicaの元のデータセットにおける2年間の再犯率は、8.8パーセンテージポイント上昇しており、36.2%から45.1%に上昇した。
• これは、データ処理誤りによって2年間の再犯率が相対的に24.3%上昇したことを示している。
• 陽性予測値（PPV）および陰性予測値（NPV）は、この誤りの影響を顕著に受けており、これらは再犯者の相対的割合に依存するためである。
• 偽陽性率（FPR）、偽陰性率（FNR）、および全体の正答率は、再犯者の割合の変化に対して感受性が低いため、ほとんど影響を受けなかった。
• 著者は、再犯者にカットオフが適用されていなかったため、ProPublicaが2年間の再犯者を本来よりも44.3%多く保持していたと推定している。