[논문 리뷰] "If it didn't happen, why would I change my decision?": How Judges Respond to Counterfactual Explanations for the Public Safety Assessment

Yaniv Yacoby, Ben Green외 2명|arXiv (Cornell University)|2022. 05. 11.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 연구는 미국 주 법원 판사들이 사전 보안 평가(PSA)에서 가상설명(CFEs)을 어떻게 해석하고 반응하는지 조사한다. CFEs에 대해 허구적 사고 훈련을 받았음에도 판사들은 처음에는 CFEs를 사실적 변화로 잘못 읽었고, 이후에는 이를 무시했다. 그들은 자신의 역할이 실제 피고인의 상황에 대해서만 결정을 내리는 것이라고 주장하며, CFE 설계와 사법적 추론 워크플로우 사이에 근본적인 괴리가 있음을 드러냈다.

ABSTRACT

Many researchers and policymakers have expressed excitement about algorithmic explanations enabling more fair and responsible decision-making. However, recent experimental studies have found that explanations do not always improve human use of algorithmic advice. In this study, we shed light on how people interpret and respond to counterfactual explanations (CFEs) -- explanations that show how a model's output would change with marginal changes to its input(s) -- in the context of pretrial risk assessment instruments (PRAIs). We ran think-aloud trials with eight sitting U.S. state court judges, providing them with recommendations from a PRAI that includes CFEs. We found that the CFEs did not alter the judges' decisions. At first, judges misinterpreted the counterfactuals as real -- rather than hypothetical -- changes to defendants. Once judges understood what the counterfactuals meant, they ignored them, stating their role is only to make decisions regarding the actual defendant in question. The judges also expressed a mix of reasons for ignoring or following the advice of the PRAI without CFEs. These results add to the literature detailing the unexpected ways in which people respond to algorithms and explanations. They also highlight new challenges associated with improving human-algorithm collaborations through explanations.

연구 동기 및 목표

• 사전 보안 평가(PSA)라는 사전 보안 위험 평가 도구의 맥락에서, 근무 중인 미국 주 법원 판사들이 가상설명(CFEs)을 어떻게 해석하고 반응하는지 조사하기 위해.
• 입력 조건의 가상 변화에 따라 위험 점수가 어떻게 변할지를 보여주는 CFEs가 판사들의 의사결정 또는 알고리즘 권고에 대한 이해에 영향을 미치는지 조사하기 위해.
• 법률 교육을 통해 허구적 사고를 다루는 배경를 가진 판사들이 CFEs를 거부하거나 오해하는 이유를 탐색하기 위해.
• CFEs가 사법적 의사결정 과정에서 투명성, 신뢰도 또는 알고리즘 권고에 대한 비판적 평가를 향상시키는 데 기여하는지 평가하기 위해.

제안 방법

• 미국 두 주에서 근무 중인 여덟 명의 주 법원 판사들을 대상으로 PSA를 활용한 생각을 말하는 인지 프로토콜 연구를 수행하였다.
• 가상의 사전 보안 사례를 제시하여, PSA 위험 점수와 함께, 입력 조건의 경미한 변경(예: 과거 중범죄 기록 제거)에 따라 위험 점수가 어떻게 변할지를 보여주는 CFEs를 제공하였다.
• 두 차례의 테스트를 실시: 제1라운드는 초기 해석을 위한 것이며, 제2라운드는 CFEs가 사실이 아닌 가정적 조건임을 명확히 하기 위한 추가 훈련을 포함한다.
• 구두 기록을 수집하여 실시간 추론 과정을 분석하고, 판사들이 CFEs를 어떻게 처리하고 의사결정에 통합했는지에 중점을 두었다.
• 질적 분석을 통해 오해, 기각, 알고리즘 권고에 대한 추론 패턴을 식별하였다.
• 판사들이 PSA-DMF(의사결정 프레임워크)를 사전에 경험한 정도가 CFEs에 대한 반응에 어떤 영향을 미치는지 탐색하였다.

실험 결과

연구 질문

• RQ1 판사들은 사전 보안 평가(PSA) 맥락에서 가상설명(CFEs)을 어떻게 초도적으로 해석하는가?
• RQ2 CFEs는 사전 보안 석방에 대한 판사들의 위험 평가 또는 결정에 어느 정도 영향을 미치는가?
• RQ3 법률 교육을 통해 허구적 사고를 다루는 배경를 가진 판사들이 허구적 사고를 다루는 배경을 가진 배경에도 불구하고 CFEs를 거부하거나 무시하는 이유는 무엇인가?
• RQ4 사전 보안 평가-의사결정 프레임워크(PSA-DMF)를 경험한 경험이 판사들의 CFEs 이해도 및 활용도에 어떤 영향을 미치는가?
• RQ5 CFEs를 사법적 의사결정자들이 더 잘 이해하고 활용할 수 있도록 만들기 위한 설계나 지도 방법은 무엇일 수 있는가?

주요 결과

• CFEs가 명확하게 레이블링되어 있음에도 불구하고, 판사들은 초도적으로 CFEs를 피고인 프로필의 사실적 변화로 잘못 해석하였다.
• CFEs가 가정적 조건임을 이해한 후, 여덟 명의 판사 전원이 일관되게 이를 무시하였으며, 자신의 역할은 실제로 심문을 받는 피고인에 대해서만 결정을 내리는 것이라고 주장하였다.
• CFEs를 모델의 민감도나 강건성 평가에 사용하고자 하는 관심을 보이지 않았으며, 명시적인 지도 이후에도 동일한 태도를 유지하였다.
• 추가 훈련 이후에도 판사들의 CFEs 기각 태도가 지속되었으며, 이는 CFE 논리와 사법적 추론 규범 사이에 더 깊은 갈등이 있음을 시사한다.
• 판사들은 자율성과 전문성 유지의 우려를 이유로 알고리즘 영향력을 낮추는 데 동기를 부여하였으며, 이는 투명성의 훼손로 이어질 수 있다.
• 이 연구는 CFEs에 내재된 허구적 논리와 판사들이 실제 사건 사실에 대해 적용하는 허구적 사고 방식 사이에 근본적인 불일치가 있음을 드러내며, 이는 CFEs가 사법적 환경에서의 유용성을 제한한다.