[論文レビュー] Understanding the Effects of Miscalibrated AI Confidence on User Trust, Reliance, and Decision Efficacy

Jingshu Li, Yitian Yang+5 more|arXiv (Cornell University)|Feb 12, 2024

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

本研究は、調整が不適切なAIの自信が人間とAIの協働を損ね、誤用または不使用を増加させること、そして信頼キャリブレーション情報が人々にAIの自信バイアスを認識させるのに役立つ一方で、信頼を損なう可能性があることを実験的に示している。

ABSTRACT

Providing well-calibrated AI confidence can help promote users' appropriate trust in and reliance on AI, which are essential for AI-assisted decision-making. However, calibrating AI confidence -- providing confidence score that accurately reflects the true likelihood of AI being correct -- is known to be challenging. To understand the effects of AI confidence miscalibration, we conducted our first experiment. The results indicate that miscalibrated AI confidence impairs users' appropriate reliance and reduces AI-assisted decision-making efficacy, and AI miscalibration is difficult for users to detect. Then, in our second experiment, we examined whether communicating AI confidence calibration levels could mitigate the above issues. We find that it helps users to detect AI miscalibration. Nevertheless, since such communication decreases users' trust in uncalibrated AI, leading to high under-reliance, it does not improve the decision efficacy. We discuss design implications based on these findings and future directions to address risks and ethical concerns associated with AI miscalibration.

研究の動機と目的

• AIの過信と過小信頼が人間の信頼、AI提案の受容、協働の成果にどう影響するかを調査する。
• AIの自信についてユーザーに通知し、性能フィードバックを提供することが自信のずれの認識改善につながるかを検討する。
• さまざまなAIの自信レベルの下で、信頼キャリブレーション介入が人間とAIの協働効率に与える影響を評価する。

提案手法

• AIの自信レベル（unconfident、confident、overconfident）を用いた2 × 3の因子オンライン実験を実施し、信頼キャリブレーション支援の有無と組み合わせる。
• 都市の写真位置特定課題を用い、参加者がまず判断し、次に自信を伴うAI提案を見て最終決定を下す。
• 協働効率の指標としてdisuse、misuse、switch rate、正確性の変化を測定し、信頼態度も評価する。
• キャリブレーション群のみに、AIの自信と正確さのフィードバックに関する基本的な訓練を提供する。
• ANOVAと媒介分析を用いて、自信のずれ、不信、使用停止、正確性の変化を結びつけてデータを分析する。

実験結果

リサーチクエスチョン

• RQ1 AIの過信と過小信頼は、AIの自信、AIの予測、そしてAI全体の能力に人間の信頼をどのように影響するか？
• RQ2 信頼キャリブレーション支援は、人間がAIの自信のずれを認識し、それに応じて信頼を調整するのを動機づけるか？
• RQ3 AIの自信の誤校正は、誤用、使用停止、スイッチ行動、そして全体的な協働効率にどのように影響するか？
• RQ4 AIの自信の知覚は、自信のずれと協働結果との関係を仲介するか？

主な発見

• 信頼キャリブレーションがない場合、参加者はAIの自信を誤って認識することが多く、AIが過信である場合は高い誤用または不使用、過少信頼である場合は状況に応じて誤用と不使用が増加する。
• キャリブレーションが欠如している場合、過信的なAIは誤用とスイッチ率を増加させ、最終的な正確性の変化を低下させる。
• 未信頼のAIは、キャリブレーションが欠如している場合、誤使用を増加させ、スイッチ率を低下させ、最終的な正確性の変化を低下させる。
• 信頼キャリブレーションがあると、参加者はAIの自信バイアスをよりよく認識できる一方で、AIの予測に対する不信が高まることがあり、使用停止が依然として増加し、協働効率を低下させる可能性がある。
• AIの自信およびAI予測に対する信頼態度は直線的に関連し、不信は自信のずれが使用停止と正確性の結果に及ぼす影響を媒介する。
• 媒介分析は、誤用/使用停止が、さまざまなグループ分けにおいて、スイッチ率と最終的な正確性へのAI自信のずれの効果を完全に媒介することを示している。