[論文レビュー] "If it didn't happen, why would I change my decision?": How Judges Respond to Counterfactual Explanations for the Public Safety Assessment

Yaniv Yacoby, Ben Green+2 more|arXiv (Cornell University)|May 11, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本研究は、米国州裁判所の判事たちが、予審リスクアルゴリズムであるPublic Safety Assessment（PSA）における反事実的説明（CFE）をどのように解釈し、それに応答するかを調査する。仮説的思考の訓練を受けてはいるが、判事たちは当初、CFEを事実上の変更と誤読し、後にそれらを無視した。彼らは、自らの役割は実際に審理に臨む被告の状況についてのみ判断することだと主張した。これは、CFEの設計と司法判断のワークフローとの間に根本的な乖離があることを示している。

ABSTRACT

Many researchers and policymakers have expressed excitement about algorithmic explanations enabling more fair and responsible decision-making. However, recent experimental studies have found that explanations do not always improve human use of algorithmic advice. In this study, we shed light on how people interpret and respond to counterfactual explanations (CFEs) -- explanations that show how a model's output would change with marginal changes to its input(s) -- in the context of pretrial risk assessment instruments (PRAIs). We ran think-aloud trials with eight sitting U.S. state court judges, providing them with recommendations from a PRAI that includes CFEs. We found that the CFEs did not alter the judges' decisions. At first, judges misinterpreted the counterfactuals as real -- rather than hypothetical -- changes to defendants. Once judges understood what the counterfactuals meant, they ignored them, stating their role is only to make decisions regarding the actual defendant in question. The judges also expressed a mix of reasons for ignoring or following the advice of the PRAI without CFEs. These results add to the literature detailing the unexpected ways in which people respond to algorithms and explanations. They also highlight new challenges associated with improving human-algorithm collaborations through explanations.

研究の動機と目的

• 予審リスク評価ツールとしてのPublic Safety Assessment（PSA）の文脈において、在任中の米国州裁判所の判事が反事実的説明（CFE）をどのように解釈し、それに応答するかを調査すること。
• CFE（入力の仮説的変更によるリスクスコアの変化を示すもの）が、判事たちの意思決定やアルゴリズムの助言の理解に影響を与えるかどうかを調査すること。
• 彼らが法律的訓練を通じて反事実的思考に慣れ親しんでいるにもかかわらず、CFEを拒否したり理解できなかったりする理由を明らかにすること。
• CFEが司法判断における透明性、信頼性、アルゴリズム的助言の批判的評価を高めるかどうかを評価すること。

提案手法

• 米国の2つの州に在籍する8名の在任中州裁判所判事を対象に、PSAを用いた思考 aloud 認知プロトコル研究を実施した。
• 判事たちに、仮想の予審事案を提示し、PSAリスクスコアに加えて、小さな入力変更（例：過去の暴力的犯罪歴の削除）によるスコア変化を示すCFEを提示した。
• 2ラウンドのテストを実施：第1ラウンドは初期解釈の確認、第2ラウンドはCFEが仮説的であることを明確にする追加訓練を実施。
• CFEの処理方法や意思決定への統合方法を分析するために、実時間の思考プロトコルを収集した。
• 誤解、拒否、アルゴリズム的助言に関する推論のパターンを特定するために、定性的分析を実施した。
• PSA-DMF（意思決定フレームワーク）との経験が、CFEに対する判事の反応に与える影響を調査した。

実験結果

リサーチクエスチョン

• RQ1 判事たちは、Public Safety Assessment（PSA）の文脈において、反事実的説明（CFE）をどのように初期に解釈するか？
• RQ2 CFEは、判事たちのリスク評価や予審解放に関する意思決定にどの程度影響を与えるか？
• RQ3 判事たちは、反事実的思考の訓練を受けているにもかかわらず、なぜCFEを拒否したり無視したりするのか？
• RQ4 PSA-DMFとの事前の経験が、判事たちのCFEの理解力や使用行動にどのように影響を与えるか？
• RQ5 CFEを司法判断者にとってより解釈可能かつ実行可能にするための、設計や指導のアプローチは何か？

主な発見

• 判事たちは、明確なラベルが付いていたにもかかわらず、CFEを被告のプロファイルの事実的変更と誤解した。
• CFEが仮説的であることを理解した後も、全員が一貫してそれらを無視した。彼らは、自らの役割は実際に審理に臨む被告の状況についてのみ判断することだと述べた。
• CFEをモデルの感度や頑健性を評価する手段として使用する関心を示さなかった。明示的な指導後でさえも同様だった。
• 追加の訓練後でさえも、CFEの論理と司法判断の規範との間に根本的な矛盾があることが判明し、判事たちのCFE拒否は継続した。
• 判事たちは、自律性と専門的立場の維持を懸念しており、これがアルゴリズムの影響を軽視する動機となった。これは、透明性を損なう可能性がある。
• 本研究は、CFEに埋め込まれた反事実的論理と、判事が実際の事案の事実に適用する反事実的思考との間に根本的な不一致があることを明らかにした。これは、司法現場におけるCFEの有効性を制限している。