[論文レビュー] Algorithmic decision making and the cost of fairness

Sam Corbett‐Davies, Emma Pierson+3 more|arXiv (Cornell University)|Jan 28, 2017

Ethics and Social Impacts of AI参考文献 26被引用数 27

ひとこと要約

この論文は、予審解放意思決定における人種的格差を低減する公平性基準を満たしつつ、公共の安全を最大化するための制約付き最適化問題としてアルゴリズム的公平性を再定式化する。公平性定義のうち、人種別閾値を要請するものは、公共の安全を最大化し、憲法上の平等を満たす単一の均一な閾値である最適な非制約ルールと矛盾することを示しており、ブルーフォード郡のデータを用いた実践的分析により、公平性と安全の間に顕著なトレードオフが存在することを明らかにする。

ABSTRACT

Algorithms are now regularly used to decide whether defendants awaiting trial are too dangerous to be released back into the community. In some cases, black defendants are substantially more likely than white defendants to be incorrectly classified as high risk. To mitigate such disparities, several techniques recently have been proposed to achieve algorithmic fairness. Here we reformulate algorithmic fairness as constrained optimization: the objective is to maximize public safety while satisfying formal fairness constraints designed to reduce racial disparities. We show that for several past definitions of fairness, the optimal algorithms that result require detaining defendants above race-specific risk thresholds. We further show that the optimal unconstrained algorithm requires applying a single, uniform threshold to all defendants. The unconstrained algorithm thus maximizes public safety while also satisfying one important understanding of equality: that all individuals are held to the same standard, irrespective of race. Because the optimal constrained and unconstrained algorithms generally differ, there is tension between improving public safety and satisfying prevailing notions of algorithmic fairness. By examining data from Broward County, Florida, we show that this trade-off can be large in practice. We focus on algorithms for pretrial release decisions, but the principles we discuss apply to other domains, and also to human decision makers carrying out structured decision rules.

研究の動機と目的

• 予審解放のアルゴリズム的意思決定において、公共の安全を最大化することと、形式的公平性基準を満たすことの間のトレードオフを検討すること。
• 特に人種別閾値を要請する公平性定義が、公共の安全の結果に与える影響を分析すること。
• 最適な非制約アルゴリズムが単一の均一なリスク閾値を用いることで、公共の安全を最大化し、平等の核心的原則を満たすことを示すこと。
• フロリダ州ブルーフォード郡の実世界データを用いて、このトレードオフの実務的影響を評価すること。
• 高リスク意思決定システムにおける政策立案およびアルゴリズム設計に、競合する公平性定義が与える影響を明確にすること。

提案手法

• アルゴリズム的公平性を制約付き最適化問題として定式化：公平性制約を満たす中で公共の安全を最大化する。
• 意思決定ルールを、個人のリスクスコアを拘束確率に写像する確率的関数として定義する。
• 複数の公平性基準（例：等しい偽陽性率、等しい偽陽性発見率）を適用し、それぞれの基準下での最適アルゴリズムを導出する。
• 非制約下での最適アルゴリズムとして、すべての民族集団に共通する単一の均一な閾値を導出する。
• フロリダ州ブルーフォード郡の実データを用いて、リスクスコアと再犯率を民族集団ごとに推定する。
• 公共の安全と人種的格差の観点から、制約付きと非制約アルゴリズムの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的予審リスク評価において形式的公平性制約を適用することは、公共の安全を低下させるか？
• RQ2 公平性制約を満たしつつ、公共の安全を最大化する最適なアルゴリズムは何か？
• RQ3 単一の均一な閾値ルールと人種別閾値の両者を、公平性と安全性の観点から比較するとどうなるか？
• RQ4 現在の公平性定義は、等価な扱いの憲法的原則とどの程度矛盾しているか？
• RQ5 実世界の刑事司法データにおいて、公平性と安全のトレードオフを定量的に測定できるか？

主な発見

• 最適な非制約アルゴリズムは、すべての被疑者に共通する単一の均一なリスク閾値を用いることで、公共の安全を最大化し、人種に関係なく等価な扱いを満たす。
• いくつかの過去の公平性定義は、人種別閾値を要請する——例：黒人被疑者はスコアが6を超える場合にのみ拘束されるが、白人被疑者は4の閾値で拘束される——が、これにより公共の安全が低下する。
• 公平性基準を満たすために人種別閾値を適用することは、ブルーフォード郡データの実証的分析により、公共の安全を著しく低下させる可能性があることが示された。
• 最適な制約付きアルゴリズムは、最適な非制約アルゴリズムとは異なり、公平性と安全の間の根本的なトレードオフを露呈している。
• アルゴリズムが人種を入力として使用しないとしても、再犯のベースレートのグループ間の差異により、人種的格差がリスク分類に残存する。
• 単一の閾値ルールは、米国憲法第14修正条項の平等保護条項と整合しており、人種に関係なくすべての個人を同一に扱う。