[論文レビュー] Understanding the Role of Human Intuition on Reliance in Human-AI Decision-Making with Explanations

Valerie Chen, Q. Vera Liao+2 more|arXiv (Cornell University)|Jan 18, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本研究は、説明付きのAI予測に対する人間の直感がどのように影響を与えるかを調査し、予測結果、特徴量、AIの限界に関する直感の3つの経路が、AIの誤りを上書きする意思決定者を導くことを特定した。例に基づく説明は特徴量に基づく説明よりも優れており、自然な直感を保ち、AIの信頼性の欠如をよりよく検出できるため、人間とAIの協働を向上させ、過剰依存を低減する。

ABSTRACT

AI explanations are often mentioned as a way to improve human-AI decision-making, but empirical studies have not found consistent evidence of explanations' effectiveness and, on the contrary, suggest that they can increase overreliance when the AI system is wrong. While many factors may affect reliance on AI support, one important factor is how decision-makers reconcile their own intuition -- beliefs or heuristics, based on prior knowledge, experience, or pattern recognition, used to make judgments -- with the information provided by the AI system to determine when to override AI predictions. We conduct a think-aloud, mixed-methods study with two explanation types (feature- and example-based) for two prediction tasks to explore how decision-makers' intuition affects their use of AI predictions and explanations, and ultimately their choice of when to rely on AI. Our results identify three types of intuition involved in reasoning about AI predictions and explanations: intuition about the task outcome, features, and AI limitations. Building on these, we summarize three observed pathways for decision-makers to apply their own intuition and override AI predictions. We use these pathways to explain why (1) the feature-based explanations we used did not improve participants' decision outcomes and increased their overreliance on AI, and (2) the example-based explanations we used improved decision-makers' performance over feature-based explanations and helped achieve complementary human-AI performance. Overall, our work identifies directions for further development of AI decision-support systems and explanation methods that help decision-makers effectively apply their intuition to achieve appropriate reliance on AI.

研究の動機と目的

• 人間の直感が人間-AI意思決定におけるAIの説明とどのように相互作用するかを理解すること。
• 特徴量に基づく説明がなぜしばしば誤ったAI予測に対する過剰依存を増加させるのかを調査すること。
• 異なる説明タイプ（特徴量ベースおよび例ベース）が、AIが誤っている場合に意思決定者がAIを上書きする能力にどのように影響するかを調査すること。
• 適切なAIへの依存を支援する直感的推論の経路を同定すること。
• 人間の直感をよりよく反映し、過剰依存を低減するAI意思決定支援システムの設計を支援すること。

提案手法

• 26名の参加者を対象に、2つの低リスク意思決定タスク（表形式およびテキストベース）で実施した、思考 aloud 法を用いた混合研究手法。
• 2種類の説明タイプを用いた：特徴量ベース（特徴量の重み）および例ベース（ラベル付きの類似過去事例）。
• 参加者が直感とAI予測・説明をどのように調和させたかを分析するために、発話された思考プロセスを収集した。
• 思考 aloud のトランスクリプトに対してテーマ分析を実施し、繰り返し現れる直感に基づく推論経路を同定した。
• 特徴量ベースと例ベースの説明条件間での意思決定結果と依存行動を比較した。
• 定量的分析によりパフォーマンスと過剰依存を評価し、定性的分析により認知的経路を明らかにした。

(a) Feature-based explanation for income prediction.

実験結果

リサーチクエスチョン

• RQ1 意思決定者は、人間-AI意思決定の過程で、自らの直感とAI予測・説明をどのように調和させているか？
• RQ2 予測結果、特徴量、AIの限界に関するどの種類の直感が、誤ったAI予測を上書きする意思決定者を導いているか？
• RQ3 なぜ特徴量ベースの説明はしばしば誤ったAI予測に対する過剰依存を増加させるのか？
• RQ4 例ベースの説明は、特徴量ベースの説明と比較して、AIへのより適切な依存をどのように支援しているか？
• RQ5 どのような認知的経路が意思決定における効果的な人間-AI協働を可能にしているか？

主な発見

• 3つの明確に異なる直感に基づく経路が浮き彫りになった：強い結果に対する直感、特徴量に基づく直感、予測の信頼性の欠如の兆候によるAIの限界の認識。
• 特徴量ベースの説明は参加者の結果に対する直感を乱し、特徴量に基づく直感とも矛盾し、誤ったAI予測に対する過剰依存を増加させた。
• 例ベースの説明は自然な結果に対する直感を保ち、特徴量に関する帰納的推論を支援し、予測の信頼性の欠如をより明確に示すことができ、過剰依存を低減した。
• 例ベースの説明を使用した参加者は、特徴量ベースの説明を使用した参加者よりも優れた意思決定結果を達成し、より補完的で効果的な人間-AIパフォーマンスを示した。
• 本研究では、説明の有効性が説明タイプそのものに由来するのではなく、人間の直感と認知プロセスとの整合性に依存することを明らかにした。
• 思考 aloud のデータから、参加者がしばしば分析的解釈ではなく、全体的で経験に基づく推論に依存しており、これは特徴量ベースの説明の有用性を損なっていた。

(b) Example-based explanation for income prediction.