[논문 리뷰] Experimental Evaluation of Algorithm-Assisted Human Decision-Making: Application to Pretrial Public Safety Assessment

Kosuke Imai, Zhichao Jiang외 3명|arXiv (Cornell University)|2020. 12. 04.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

이 논문은 사전 재판 공공안전 평가(PSA)의 랜덤화 시험에 적용된 알고리즘 지원 인간 의사결정을 평가하기 위한 인과추론 프레임워크를 개발한다. PSA 권고가 재판관의 결정에 전반적으로 미치는 영향은 미미하며, 저위험 여성의 경우 부드러운 결정으로 이어질 수 있으나 고위험 남성의 경우 더 엄격한 결정으로 이어질 수 있으며, 재범 비용이 매우 높지 않은 한 최적의 결정 규칙에 비해 자주 과도하게 엄격한 편이다.

ABSTRACT

Despite an increasing reliance on fully-automated algorithmic decision-making in our day-to-day lives, human beings still make highly consequential decisions. As frequently seen in business, healthcare, and public policy, recommendations produced by algorithms are provided to human decision-makers to guide their decisions. While there exists a fast-growing literature evaluating the bias and fairness of such algorithmic recommendations, an overlooked question is whether they help humans make better decisions. We develop a statistical methodology for experimentally evaluating the causal impacts of algorithmic recommendations on human decisions. We also show how to examine whether algorithmic recommendations improve the fairness of human decisions and derive the optimal decision rules under various settings. We apply the proposed methodology to preliminary data from the first-ever randomized controlled trial that evaluates the pretrial Public Safety Assessment (PSA) in the criminal justice system. A goal of the PSA is to help judges decide which arrested individuals should be released. On the basis of the preliminary data available, we find that providing the PSA to the judge has little overall impact on the judge's decisions and subsequent arrestee behavior. However, our analysis yields some potentially suggestive evidence that the PSA may help avoid unnecessarily harsh decisions for female arrestees regardless of their risk levels while it encourages the judge to make stricter decisions for male arrestees who are deemed to be risky. In terms of fairness, the PSA appears to increase the gender bias against males while having little effect on any existing racial differences in judges' decision. Finally, we find that the PSA's recommendations might be unnecessarily severe unless the cost of a new crime is sufficiently high.

연구 동기 및 목표

• 알고리즘 권고가 인간 의사결정에 미치는 인과적 영향을 평가하기 위한 일반적인 통계적 방법론 개발.
• 범죄 사법과 같은 고위험 분야에서 알고리즘 권고가 의사결정 품질과 공정성 향상에 기여하는지 평가.
• 부정적 결과와 불필요한 엄격함의 비용 구조가 변화함에 따라 최적의 결정 규칙 규명.
• 특히 성별 및 인종에 따라 인간 의사결정 편향과 알고리즘 권고의 상호작용 분석.
• 정책적 관련 분야에서 하이브리드 인간-알고리즘 시스템의 실험적 평가를 위한 프레임워크 제공.

제안 방법

• 실험적 설정에서의 준수 및 잠재적 간섭을 고려하기 위해 인과추론의 주요 군집 기반 접근법을 사용해 평가 대상을 정의.
• 재판관에게 PSA 위험 점수와 DMF 권고를 제공하거나 제공하지 않는 랜덤화 대조 시험 설계를 적용.
• 다양한 비용 가중치를 적용한 결과에 대해 재판관 결정과 알고리즘 권고를 비교하기 위해 의사결정 이론적 유틸리티 프레임워크 활용.
• 잠재적 결과 기반의 인과적 효과 규명 조건 유도; 검증 불가 가정에 대한 민감도 분석 가능.
• 다양한 결과(예: 새로운 범죄, 출석 불이행)에 대해 재판관 결정과 알고리즘 권고 간 기대 유틸리티 차이 추정.
• 비편향성 및 단조성 가정 위반에 대한 민감도 분석 수행.

실험 결과

연구 질문

• RQ1 재판관에게 PSA 점수를 제공함으로써 사전 석방 결정이 유의미하게 변화하는가?
• RQ2 알고리즘 권고가 특히 성별 및 인종에 따라 사법 결정의 공정성을 향상시키는가?
• RQ3 다양한 비용 구조 하에서 DMF 시스템의 알고리즘 권고가 실제 재판관 결정에 비해 최적의가 되는가?
• RQ4 재판관이 알고리즘 권고에서 얼마나 벗어나는가? 이러한 이탈은 의사결정 품질에 어떤 영향을 미치는가?
• RQ5 재범 비용과 불필요한 수감 비용이 최적의 결정 규칙에 어떤 영향을 미치는가?

주요 결과

• PSA 점수 제공가운데 재판관의 사전 석방 결정에 전반적인 영향은 미미하여 사법 행동에 대한 영향력이 제한적임을 시사.
• PSA 사용이 위험 수준과 관계없이 여성 피의자에 대해 더 관용적인 결정으로 이어질 수 있다는 암시적 증거 존재; 반면 고위험 남성 피의자에 대해서는 심화된 엄격함 증가.
• PSA는 기존의 성별 격차를 악화시키는 경향이 있으며, 특히 남성 피의자에 대한 엄격함을 증가시키지만, 인종적 격차는 유의미하게 관찰되지 않음.
• 대부분의 케이스에서 재범 비용이 수감 비용보다 상당히 높지 않은 한 최적의 결정은 현금 보석이 아닌 서명 보석임.
• 모든 결과에 대해 재판관 결정이 DMF 권고보다 항상 더 높은 기대 유틸리티를 제공함으로써 알고리즘 권고가 불필요하게 엄격할 수 있음.
• DMF 권고는 정보성은 낮음; 권고가 현금 보석이었는지 여부에 따라 최적 결정 비율의 차이가 미미함.