[논문 리뷰] Man and machine: artificial intelligence and judicial decision making

Arthur Dyevre, Ahmad Shahvaroughi|arXiv (Cornell University)|2026. 03. 19.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

이 논문은 법원 판결에서의 인공지능 연구를 종합하여 위험 평가 도구, 인간 판사 편향, 그리고 판사들이 AI 조언과 상호작용하는 방식에 초점을 맞추고, AI 보조의 효과가 미미하거나 없으며 주목할 만한 증거 격차가 있음을 발견한다.

ABSTRACT

The integration of artificial intelligence (AI) technologies into judicial decision-making, particularly in pretrial, sentencing, and parole contexts, has generated substantial concerns about transparency, reliability, and accountability. At the same time, these developments have brought the limitations of human judgment into sharper relief and underscored the importance of understanding how judges interact with AI-based decision aids. Using criminal justice risk assessment as a focal case, we conduct a synthetic review connecting three intertwined aspects of AI's role in judicial decision-making: the performance and fairness of AI tools, the strengths and biases of human judges, and the nature of AI-plus-human interactions. Across the fields of computer science, economics, law, criminology, and psychology, researchers have made significant progress in evaluating the predictive validity of automated risk assessment instruments, documenting biases in judicial decision-making, and, to a more limited extent, examining how judges use algorithmic recommendations. While the existing empirical evidence indicates that the impact of AI decision-aid tools on pretrial and sentencing decisions is modest or nonexistent, our review also reveals important gaps in the existing literature. Further research is needed to evaluate the performance of AI risk assessment instruments, understand how judges navigate uncertain decision-making environments, and examine how individual characteristics influence judges' responses to AI advice. We argue that AI-versus-human comparisons have the potential to yield new insights into both algorithmic tools and human decision-makers. We advocate greater interdisciplinary integration to foster cross-fertilization in future research.

연구 동기 및 목표

• 예비 구속 전, 선고, 가석방 결정에서 AI 도구가 어떻게 사용되는지 이해를 촉진한다.
• 자동화된 위험 평가 도구의 예측 타당성과 공정성에 관한 근거를 종합한다.
• 인간 판사의 편향과 그것들이 알고리즘 권고와 어떻게 상호작용하는지 고찰한다.
• 문헌의 격차를 확인하고 학제간 연구의 방향을 제시한다.

제안 방법

• 컴퓨터과학, 경제학, 법학, 범죄학, 심리학 전반에 걸친 연구 결과를 검토한다.
• AI 도구 성능과 공정성에 대한 근거를 판사의 의사결정 편향과 연결한다.
• AI 조언이 제공될 때 판사들이 불확실한 의사결정 환경을 어떻게 탐색하는지 평가한다.
• AI 대 인간 비교의 잠재력이 새로운 통찰을 제공하는지 논의한다.

실험 결과

연구 질문

• RQ1 형사사법에서 자동화된 위험 평가 도구의 예측 타당성은 무엇인가?
• RQ2 인간 판사의 편향은 AI 기반 의사결정 도구와 어떻게 상호작용하는가?
• RQ3 AI 의사결정 도구가 예비 구속 전 및 선고 결과에 의미있게 영향을 미치는가?
• RQ4 사법 맥락에서 AI-인간 상호작용에 관한 문헌의 격차는 무엇인가?
• RQ5 학제간 통합이 법원 의사결정에서의 AI 이해를 어떻게 향상시킬 수 있는가?

주요 결과

• AI 의사결정 도구가 예비 구속 전 및 선고 결정에 미치는 영향은 미미하거나 존재하지 않는다는 증거가 있다.
• AI 위험 평가 도구의 성능 평가 및 판사의 AI 조언 상호작용에 관한 중요한 격차가 있다.
• 기존 문헌은 도구의 공정성과 예측 타당성 측정에서 진전을 보이나 실제 의사결정 결과에 대한 연구는 제한적이다.
• 판사들이 불확실한 의사결정 환경을 헤쳐 나가는 방식과 개인적 특성이 AI 조언에 대한 반응에 미치는 영향을 더 연구할 필요가 있다.
• AI 대 인간 비교는 도구와 의사결정자 모두에 대한 새로운 통찰을 얻을 잠재력이 있다.
• 본 논문은 향후 연구에서 교차 융합을 촉진하기 위해 더 큰 학제간 통합을 촉구한다.