[論文レビュー] To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making

Zana Buçinca, Maja Barbara Malaya+1 more|arXiv (Cornell University)|Feb 19, 2021

Decision-Making and Behavioral Economics参考文献 66被引用数 117

ひとこと要約

Cognitive forcing functions (CFF)は、AI支援意思決定におけるAI依存過剰を、単純な説明可能AIアプローチと比較して低減しますが、認知的負荷をより要求し、認知欲求（Need for Cognition: NFC）を高く持つ個人でより大きな利益をもたらします。

ABSTRACT

People supported by AI-powered decision support tools frequently overrely on the AI: they accept an AI's suggestion even when that suggestion is wrong. Adding explanations to the AI decisions does not appear to reduce the overreliance and some studies suggest that it might even increase it. Informed by the dual-process theory of cognition, we posit that people rarely engage analytically with each individual AI recommendation and explanation, and instead develop general heuristics about whether and when to follow the AI suggestions. Building on prior research on medical decision-making, we designed three cognitive forcing interventions to compel people to engage more thoughtfully with the AI-generated explanations. We conducted an experiment (N=199), in which we compared our three cognitive forcing designs to two simple explainable AI approaches and to a no-AI baseline. The results demonstrate that cognitive forcing significantly reduced overreliance compared to the simple explainable AI approaches. However, there was a trade-off: people assigned the least favorable subjective ratings to the designs that reduced the overreliance the most. To audit our work for intervention-generated inequalities, we investigated whether our interventions benefited equally people with different levels of Need for Cognition (i.e., motivation to engage in effortful mental activities). Our results show that, on average, cognitive forcing interventions benefited participants higher in Need for Cognition more. Our research suggests that human cognitive motivation moderates the effectiveness of explainable AI solutions.

研究の動機と目的

• 意思決定におけるAI過剰依存に対処するため、二重過程理論を用いた動機づけ。
• 認知 forcing介入がAIの説明への依存を減らすかを検討する。
• 3つの認知 forcing設計をシンプルな説明可能AIアプローチおよび無AIベースラインと比較する。
• Need for Cognition（NFC）に関連する不平等を介入効果を検証する。
• forcing function の有効性とユーザー受容性のトレードオフを特定する。

提案手法

• オンライン実験を設計・実施し（N=199）、3つの認知 forcing設計を2つのSXAI条件および無AIベースラインと比較する。
• AIの説明に導かれて、参加者が高糖質成分を低糖質の代替品と置換する栄養ベースの課題を用いる。
• 75%の認識精度を持つ模擬AIと、特徴ベースの説明（炭水化物削減と風味の類似性）を備えた4つのトップ置換を実装する。
• No AI、SXAI（Explanation, Uncertainty）、およびCFF（On demand, Update, Wait）の6条件を導入する。
• 客観的アウトカム（全体的なパフォーマンス、炭水化物源の検出、炭水化物削減、風味の類似性、過度の依存、ヒューマンエラー）と主観的指標（好み、信頼、精神的要求、システムの複雑さ）を測定する。
• 混合効果モデル、Holm-Bonferroni事後検定、NFCの調整効果を評価するためのPearson相関で分析する。

(a) explanation (SXAI)

実験結果

リサーチクエスチョン

• RQ1 認知 forcingはAIの予測が誤っている場合、SXAIアプローチと比較してAIへの過剰依存を減らすか。
• RQ2 認知 forcing介入は全体的なタスクパフォーマンスと最適な栄養素置換との整合性を改善するか。
• RQ3 介入の有効性とユーザー受容性の間にどのようなトレードオフが存在するか。
• RQ4 NFCレベルは認知 forcing機能の恩恵を調整し、結果に不平等を生み出す可能性があるか。

主な発見

• CFFsは、SXAIと比較してAI予測が誤っている場合の過剰依存を有意に低減し、客観的パフォーマンスを改善した。
• 全 Instanceで、SXAIとCFFは無AIベースラインよりパフォーマンスを向上させた。
• AI予測が誤っている場合、CFFはSXAIよりも炭水化物源の検出、炭水化物削減、および風味の類似性を高く示し、より正解の決定を導いた。
• トレードオフが存在した：CFFはより高い認知的努力を要求するため、受容性が低いと報告された。
• 介入によって生じる不平等を監査したところ、平均として高いNFCの個人がCFFsの恩恵をより受ける傾向があった。
• 全体として、認知動機などの人間要因が説明可能AI戦略の有効性に影響を与えることが示された。

(b) uncertainty (SXAI)