[論文レビュー] Explanations Can Reduce Overreliance on AI Systems During Decision-Making

Helena Vasconcelos, Matthew Jörke+4 more|arXiv (Cornell University)|Dec 13, 2022

Decision-Making and Behavioral Economics被引用数 20

ひとこと要約

本論文は、迷路解法の協働においてタスクと説明のコストが操作されたとき、AIの説明が過度依存を減らすことができることを示している。模擬AIとの協働を通じて、費用対効果の枠組みを用い、5つの研究（N=731）にわたる。

ABSTRACT

Prior work has identified a resilient phenomenon that threatens the performance of human-AI decision-making teams: overreliance, when people agree with an AI, even when it is incorrect. Surprisingly, overreliance does not reduce when the AI produces explanations for its predictions, compared to only providing predictions. Some have argued that overreliance results from cognitive biases or uncalibrated trust, attributing overreliance to an inevitability of human cognition. By contrast, our paper argues that people strategically choose whether or not to engage with an AI explanation, demonstrating empirically that there are scenarios where AI explanations reduce overreliance. To achieve this, we formalize this strategic choice in a cost-benefit framework, where the costs and benefits of engaging with the task are weighed against the costs and benefits of relying on the AI. We manipulate the costs and benefits in a maze task, where participants collaborate with a simulated AI to find the exit of a maze. Through 5 studies (N = 731), we find that costs such as task difficulty (Study 1), explanation difficulty (Study 2, 3), and benefits such as monetary compensation (Study 4) affect overreliance. Finally, Study 5 adapts the Cognitive Effort Discounting paradigm to quantify the utility of different explanations, providing further support for our framework. Our results suggest that some of the null effects found in literature could be due in part to the explanation not sufficiently reducing the costs of verifying the AI's prediction.

研究の動機と目的

• AIとの関与を費用対効果の決定として位置づけることで、説明が過度の依存を緩和できるかを動機づけ、検証する。
• 認知的努力、タスクの難易度、インセンティブがユーザーがAIの説明に関与するかどうかに影響を与える費用対効果フレームワークを形式化する。
• タスク難易度、説明の複雑さ、金銭的報酬を変化させることで、AIの予測と説明への依存にどのような影響があるかを調査する。
• 特定の条件下で説明が過度の依存を減らすことを示し、説明は決して役に立たないという見解に挑戦する。
• 費用と利益と説明の有用性を結びつける認知的努力割引パラダイムを用いて、説明の有用性を定量化する。）

提案手法

• ユーザーがタスクに関与する（AIを検証するかどうかにかかわらず）か、AIに依存するかを選択する費用対効果フレームワークを開発する。
• 5つの研究を通じて、タスク難易度、説明難易度、金銭的報酬を操作するために模擬AIを用いた迷路解決タスクを用いる。
• 2つの説明モダリティ（ハイライトと書面説明）を用い、研究全体でAIの正確さを80％に揃える。
• AIの予測が正しい場合には正確な説明を、AIが誤る場合には誤導となる経路についても説明を生成し、検証行動への影響を検討する。
• 過度の依存、タスク参加、主観的有用性を測定し、自己報告尺度とStudy 5で認知的努力割引アプローチを補足として用いる。）

実験結果

リサーチクエスチョン

• RQ1 どの条件下で人々は予測を検証し過度の依存を減らすためにAIの説明に関与するのか？
• RQ2 タスク難易度、説明難易度、金銭的インセンティブは、説明に関与することの有用性をAIに依存することと比較してどう形作るか？
• RQ3 費用対効果の観点は、説明が過度の依存を減らす場合を説明できるのか、それともそうならないのか？

主な発見

• タスク難易度が上がるにつれて、説明は予測だけよりも過度の依存を減らす。
• 説明を理解するための認知的努力が低いほど、過度の依存の減少が大きくなる。
• 正確さに対する金銭的報酬が高いほど過度の依存が減少し、ベネフィットが関与戦略に影響を与えることを示す。
• 理解しやすい説明は主観的有用性が高く、タスクへ取り組む可能性を高める。
• 適応された認知的努力割引パラダイングは、理解コストが低い説明がより価値付けされ、タスク難易度が説明の有用性を高めることを確認する。）