[논문 리뷰] Algorithmic decision making and the cost of fairness

Sam Corbett‐Davies, Emma Pierson외 3명|arXiv (Cornell University)|2017. 01. 28.

Ethics and Social Impacts of AI참고 문헌 26인용 수 27

한 줄 요약

이 논문은 사전 보석 결정에서 인종적 격차를 줄이는 공정성 기준을 충족하면서도 공공 안전을 최대화하는 제약 조건이 있는 최적화 문제로 알고리즘 공정성을 재구성한다. 공정성 정의 중에서 인종별로 다른 임계값을 요구하는 것들은 최적의 비제약 규칙(일괄적인 동일한 임계값)과 충돌하며, 이는 공공 안전을 최대화하고 헌법상 평등성 원칙과 일치한다. 브로드헤드 카운티 데이터를 사용한 실증 분석을 통해 실질적으로 공정성과 안전성 사이에 상당한 상충 관계가 있음을 드러낸다.

ABSTRACT

Algorithms are now regularly used to decide whether defendants awaiting trial are too dangerous to be released back into the community. In some cases, black defendants are substantially more likely than white defendants to be incorrectly classified as high risk. To mitigate such disparities, several techniques recently have been proposed to achieve algorithmic fairness. Here we reformulate algorithmic fairness as constrained optimization: the objective is to maximize public safety while satisfying formal fairness constraints designed to reduce racial disparities. We show that for several past definitions of fairness, the optimal algorithms that result require detaining defendants above race-specific risk thresholds. We further show that the optimal unconstrained algorithm requires applying a single, uniform threshold to all defendants. The unconstrained algorithm thus maximizes public safety while also satisfying one important understanding of equality: that all individuals are held to the same standard, irrespective of race. Because the optimal constrained and unconstrained algorithms generally differ, there is tension between improving public safety and satisfying prevailing notions of algorithmic fairness. By examining data from Broward County, Florida, we show that this trade-off can be large in practice. We focus on algorithms for pretrial release decisions, but the principles we discuss apply to other domains, and also to human decision makers carrying out structured decision rules.

연구 동기 및 목표

• 사전 보석 결정에 대한 알고리즘 의사결정에서 공공 안전을 최대화하고 형식적 공정성 기준을 충족시키는 데서 발생하는 상충 관계를 분석하는 것.
• 특히 인종별로 다른 임계값을 요구하는 다양한 공정성 정의가 공공 안전 결과에 미치는 영향을 분석하는 것.
• 최적의 비제약 알고리즘이 단일 통일된 위험 임계값을 사용하며, 이는 공공 안전을 최대화하고 근본적인 평등 원칙을 충족한다는 것을 입증하는 것.
• 플로리다 주 브로드헤드 카운티의 실제 데이터를 사용하여 이러한 상충 관계의 실용적 영향을 평가하는 것.
• 고위험 의사결정 시스템에서 정책 및 알고리즘 설계에 대한 경쟁적 공정성 정의의 함의를 명확히 하는 것.

제안 방법

• 알고리즘 공정성을 제약 조건이 있는 최적화 문제로 재구성: 공공 안전을 최대화하면서 공정성 제약 조건을 충족하는 것.
• 결정 규칙을 개인의 위험 점수에서 구금 확률로 매핑하는 확률적 함수로 정의한다.
• 다양한 공정성 기준(예: 동일한 위양성 비율, 동일한 위양성 발견 비율)을 적용하고 각 기준 하에서 최적의 알고리즘을 유도한다.
• 최적의 비제약 알고리즘을 모든 인종 집단에 대해 동일한 단일 임계값으로 도출한다.
• 플로리다 주 브로드헤드 카운티의 실증 데이터를 사용하여 인종 집단 간 위험 점수와 재범률을 추정한다.
• 공공 안전와 인종 격차 측면에서 제약 조건이 있는 알고리즘과 비제약 조건이 있는 알고리즘의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 알고리즘 사전 보석 위험 평가에서 형식적 공정성 제약 조건을 적용하면 공공 안전이 감소하는가?
• RQ2 공정성 제약 조건을 충족하면서 공공 안전을 최대화하는 최적의 알고리즘은 무엇인가?
• RQ3 단일 통일 임계값 규칙과 인종별로 다른 임계값 간의 공정성과 안전성 측면에서의 비교는 어떻게 되는가?
• RQ4 기존의 공정성 정의 중에서 헌법상 동등 대우 원칙과 얼마나 충돌하는가?
• RQ5 실제 범죄 사법 데이터에서 공정성과 안전성 사이의 상충 관계를 정량화할 수 있는가?

주요 결과

• 최적의 비제약 알고리즘은 모든 피고인에 대해 단일 통일된 위험 임계값을 사용하며, 이는 공공 안전을 최대화하고 인종에 관계없이 동등한 대우 원칙을 충족한다.
• 이전의 여러 공정성 정의는 인종별로 다른 임계값을 요구한다 — 예를 들어, 흑인 피고인은 위험 점수가 6 이상일 때만 구금되지만, 백인 피고인은 4 이상일 때 구금된다 — 이러한 조건은 공공 안전을 저하시킨다.
• 공정성 기준을 충족시키기 위해 인종별로 다른 임계값을 적용하면, 브로드헤드 카운티 데이터의 실증 분석을 통해 공공 안전이 상당히 감소함을 확인할 수 있다.
• 최적의 제약 조건이 있는 알고리즘은 최적의 비제약 조건이 있는 알고리즘과 다름을 보이며, 이는 공정성과 안전성 사이에 근본적인 상충 관계가 있음을 드러낸다.
• 알고리즘이 인종을 입력으로 사용하지 않더라도, 재범의 기초 비율의 집단 간 차이로 인해 위험 분류에서 인종적 격차가 지속된다.
• 단일 임계값 규칙은 미국 헌법 제14조 보장 조항(평등 보호 조항)과 일치한다. 이는 인종에 관계없이 모든 개인을 동일하게 대우하기 때문이다.