[論文レビュー] Human-Aligned Calibration for AI-Assisted Decision Making

Nina L. Corvelo Benz, Manuel Gomez-Rodriguez|arXiv (Cornell University)|May 31, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、AI支援意思決定における人間の信頼パターンに合わせたキャリブレーション手法を提案する。信頼スコアが人間意思決定者の信頼パターンと整合するように調整されることで、人間の信頼と整合する多変数キャリブレーション（multicalibration）を実現し、単調な信頼行動を可能にすることで、標準キャリブレーションと比較して4つの実世界タスクにおいて意思決定の質が向上する。

ABSTRACT

Whenever a binary classifier is used to provide decision support, it typically provides both a label prediction and a confidence value. Then, the decision maker is supposed to use the confidence value to calibrate how much to trust the prediction. In this context, it has been often argued that the confidence value should correspond to a well calibrated estimate of the probability that the predicted label matches the ground truth label. However, multiple lines of empirical evidence suggest that decision makers have difficulties at developing a good sense on when to trust a prediction using these confidence values. In this paper, our goal is first to understand why and then investigate how to construct more useful confidence values. We first argue that, for a broad class of utility functions, there exist data distributions for which a rational decision maker is, in general, unlikely to discover the optimal decision policy using the above confidence values -- an optimal decision maker would need to sometimes place more (less) trust on predictions with lower (higher) confidence values. However, we then show that, if the confidence values satisfy a natural alignment property with respect to the decision maker's confidence on her own predictions, there always exists an optimal decision policy under which the level of trust the decision maker would need to place on predictions is monotone on the confidence values, facilitating its discoverability. Further, we show that multicalibration with respect to the decision maker's confidence on her own predictions is a sufficient condition for alignment. Experiments on four different AI-assisted decision making tasks where a classifier provides decision support to real human experts validate our theoretical results and suggest that alignment may lead to better decisions.

研究の動機と目的

• AI支援意思決定における標準キャリブレーション信頼スコアの解釈に、人間意思決定者が苦労するという実証的課題に対処すること。
• 人間とAIの予測の相互作用を表現する構造的因果モデル（SCM）を用いて、意思決定の信頼ダイナミクスを形式化すること。
• 合理的ユーザーが最適な意思決定方針を支持できない状況を同定すること。
• 単調な信頼行動と最適な意思決定を保証する新しい整合性特性「人間整合性（human-alignment）」を提唱すること。
• 実世界の実験を通じて、人間整合性のある信頼スコアが標準キャリブレーションよりも優れた意思決定をもたらすことを検証すること。

提案手法

• 人間とAIの予測の相互作用を表現する構造的因果モデル（SCM）を用いて、AI支援意思決定を形式化する。
• 人間整合性を、意思決定者がAI予測に対して与える信頼度が、提供された信頼スコアに対して単調増加であるという性質として定義する。
• 人間自身の信頼度に関して多変数キャリブレーションが達成されていれば、人間整合性が達成される十分条件であることを示す。
• λ-離散化と反復的精錬を用いて信頼スコアを調整する後処理アルゴリズムを提案し、(α + λ)-多変数キャリブレーションを達成する。
• 実装のため、微分プライバシーと適応的データ解析ツールを用いて期待値と確率の経験的推定を行う。
• 4つのAI支援意思決定タスクの実データセットにこの手法を適用し、生の信頼スコアを[0,1]スケールに変換し、意思決定方針を比較する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、標準キャリブレーション信頼スコアが合理的な人間ユーザーの最適意思決定を妨げるか？
• RQ2 どのような信頼スコアの性質が、合理的な意思決定者がAI予測に対する信頼を一貫的かつ正確に調節できるか？
• RQ3 人間の信頼度に関して多変数キャリブレーションを用いることで、人間意思決定行動と整合する信頼スコアを構築できるか？
• RQ4 人間整合性のある信頼スコアは、実世界のAI支援意思決定タスクで意思決定パフォーマンスの向上をもたらすか？
• RQ5 人間整合性が達成された場合、人間意思決定者がAI予測に対して置く信頼度は、提供された信頼スコアに対して単調に増加するか？

主な発見

• 広範な効用関数のクラスにおいて、標準キャリブレーション信頼スコアは合理的な意思決定者を誤導し、最適な意思決定を不可能にする。
• 人間整合性は、信頼度が信頼スコアとともに単調に増加するように保証するため、最適な意思決定方針の存在を可能にし、発見可能性と使いやすさを向上させる。
• 人間自身の信頼度に関して多変数キャリブレーションが達成されていれば、人間整合性を達成するための十分条件である。
• 4つの実世界のAI支援意思決定タスクにおける実験から、人間整合性のある信頼スコアを持つ分類器は、標準キャリブレーション信頼スコアを持つ分類器よりも優れた意思決定パフォーマンスを示す。
• 結果は、人間意思決定者の信頼度が、人間整合性が達成された場合に分類器の信頼スコアとともに単調に増加することを示している。
• 後処理アルゴリズムは、生の信頼スコアを人間整合性のある値に効果的に変換し、(α + λ)-多変数キャリブレーションを満たすことで、意思決定の結果を改善した。