[论文解读] "If it didn't happen, why would I change my decision?": How Judges Respond to Counterfactual Explanations for the Public Safety Assessment

Yaniv Yacoby, Ben Green+2 more|arXiv (Cornell University)|May 11, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本研究调查了美国州法院法官如何解读和回应公共安全评估（PSA）中反事实解释（CFEs）的情况。尽管法官接受过关于假设情境的训练，但他们最初仍将CFEs误读为实际的被告情况变更，随后又选择忽略这些解释，坚称其职责仅限于基于实际被告情况作出裁决——这凸显了CFE设计与司法推理工作流程之间存在根本性脱节。

ABSTRACT

Many researchers and policymakers have expressed excitement about algorithmic explanations enabling more fair and responsible decision-making. However, recent experimental studies have found that explanations do not always improve human use of algorithmic advice. In this study, we shed light on how people interpret and respond to counterfactual explanations (CFEs) -- explanations that show how a model's output would change with marginal changes to its input(s) -- in the context of pretrial risk assessment instruments (PRAIs). We ran think-aloud trials with eight sitting U.S. state court judges, providing them with recommendations from a PRAI that includes CFEs. We found that the CFEs did not alter the judges' decisions. At first, judges misinterpreted the counterfactuals as real -- rather than hypothetical -- changes to defendants. Once judges understood what the counterfactuals meant, they ignored them, stating their role is only to make decisions regarding the actual defendant in question. The judges also expressed a mix of reasons for ignoring or following the advice of the PRAI without CFEs. These results add to the literature detailing the unexpected ways in which people respond to algorithms and explanations. They also highlight new challenges associated with improving human-algorithm collaborations through explanations.

研究动机与目标

• 考察在预审风险评估工具公共安全评估（PSA）的背景下，美国州法院现职法官如何解读和回应反事实解释（CFEs）
• 调查CFEs（展示在假设输入变化下风险评分将如何变化）是否会影响法官的决策或对算法建议的理解
• 探讨法官拒绝或误解CFEs的原因，尤其是考虑到其法律训练中包含的反事实推理能力
• 评估CFEs是否能提升司法决策中对算法建议的透明度、信任度或批判性评估

提出的方法

• 对来自两个州的八名现职美国州法院法官开展思考 aloud 认知协议研究，使用PSA
• 向法官展示包含PSA风险评分和CFEs的预审假设案例，CFEs展示了在轻微输入修改（如移除一次前科重罪记录）下风险评分的变化
• 进行两轮测试：第一轮用于初始解读，第二轮通过额外培训明确CFEs为假设性而非事实性内容
• 收集口头协议以分析实时推理过程，重点关注法官如何处理CFEs并将其整合到决策中
• 采用定性分析识别误解、拒绝以及对算法建议推理的模式
• 探讨法官对PSA-DMF（决策框架）的先前经验对其回应CFEs的影响

实验结果

研究问题

• RQ1 法官在公共安全评估（PSA）背景下最初如何解读反事实解释（CFEs）？
• RQ2 CFEs在多大程度上影响了法官对预审释放的风险评估或决定？
• RQ3 为何法官尽管接受过反事实推理的法律训练，仍会拒绝或忽略CFEs？
• RQ4 对PSA-DMF的先前经验如何影响法官对CFEs的理解与使用？
• RQ5 哪些设计或教学方法可使CFEs对司法决策者更具可理解性和可操作性？

主要发现

• 尽管有明确标注，法官最初仍将CFEs误认为是被告档案的实际变更，而非假设性内容
• 在理解CFEs为假设性内容后，八名法官一致选择忽略它们，声称其职责仅限于处理实际在场的被告
• 即使经过明确指导其潜在用途，法官仍对使用CFEs评估模型敏感性或稳健性不感兴趣
• 在额外培训后，法官对CFEs的拒绝态度依然持续，表明CFE逻辑与司法推理规范之间存在更深层次的冲突
• 法官表示其担忧自主权和专业地位，因而倾向于弱化算法影响，这可能损害透明度
• 本研究揭示了嵌入在CFEs中的反事实逻辑与法官应用于实际案件事实的反事实推理之间存在根本性错配，限制了CFEs在司法环境中的实用性