[論文レビュー] Bending the Automation Bias Curve: A Study of Human and AI-based Decision Making in National Security Contexts

Michael C. Horowitz, Lauren Kahn|arXiv (Cornell University)|Jun 28, 2023

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本研究は、9か国で実施された事前登録済みのアンケート実験（9,000人の成人を対象）を通じて、国家安全保障分野におけるAI支援意思決定における自動化バイアスとアルゴリズム嫌悪を調査した。AIの背景知識とAIへの依存度の間には非線形な関係が存在し、自動化バイアスは低～中程度の知識水準で最も顕著になる（Dunning-Kruger効果に類似）。一方、AIへの熟達度が高いとバイアスと嫌悪の両方が低下し、より正確な意思決定が促進される。

ABSTRACT

Uses of artificial intelligence (AI), especially those powered by machine learning approaches, are growing in sectors and societies around the world. How will AI adoption proceed, especially in the international security realm? Research on automation bias suggests that humans can often be overconfident in AI, whereas research on algorithm aversion shows that, as the stakes of a decision rise, humans become more cautious about trusting algorithms. We theorize about the relationship between background knowledge about AI, trust in AI, and how these interact with other factors to influence the probability of automation bias in the international security context. We test these in a preregistered task identification experiment across a representative sample of 9000 adults in 9 countries with varying levels of AI industries. The results strongly support the theory, especially concerning AI background knowledge. A version of the Dunning Kruger effect appears to be at play, whereby those with the lowest level of experience with AI are slightly more likely to be algorithm-averse, then automation bias occurs at lower levels of knowledge before leveling off as a respondent's AI background reaches the highest levels. Additional results show effects from the task's difficulty, overall AI trust, and whether a human or AI decision aid is described as highly competent or less competent.

研究の動機と目的

• 高リスクな国家安全保障意思決定における、背景知識、信頼、自己認識の高さが自動化バイアスおよびアルゴリズム嫌悪に与える影響を理解すること。
• 軍事的関連性の高い状況において、Dunning-Kruger的効果がAIと人間の意思決定支援の依存度に影響を与えるかどうかを検証すること。
• タスクの難易度、システムの能力に関する記述、一般のAIへの信頼が、人間とAIの意思決定ダイナミクスに与える影響を検討すること。
• 人命に関わる人間と機械の協働が生じる状況において、国際関係分野におけるAIの採用パターンに関する実証的証拠を提供すること。
• 心理的および経験的要因が自動化システムへの信頼や過剰依存に与える影響を特定することで、政策立案、教育、AI教育に貢献すること。

提案手法

• AI産業および軍事分野への投資水準が異なる9か国の代表的成人9,000人を対象に、事前登録済みのシナリオベースのアンケート実験を実施した。
• 軍事的航空機の識別を想定した国家安全保障シナリオを用い、高リスクな文脈におけるAI意思決定支援の実態を模擬した。
• 意思決定支援の提示方法を変化させ、認識される能力（高 vs. 低）と出所（人間 vs. AI）を操作し、依存度と正確性を測定した。
• AIの背景知識を、AI技術へのなじみ、知識、直接経験の複合指標として測定した。
• タスク遂行における自己認識、一般のAIへの信頼、自動化への態度を収集し、それらが影響を及ぼすメカニズムを評価した。
• 多層回帰モデルを用いて、AIへの露出と意思決定行動との間の非線形関係を分析した。

Figure 1 : Reliance on automation relative to prior background in AI.

実験結果

リサーチクエスチョン

• RQ1 個人のAIに関する背景知識が、国家安全保障意思決定における自動化バイアスやアルゴリズム嫌悪の発現確率にどのように影響を与えるか？
• RQ2 AI知識と自動化意思決定支援への依存度の関係が、Dunning-Kruger効果が予測するように非線形的であるかどうか？
• RQ3 意思決定支援の認識される能力と出所（人間対AI）が、高リスクな軍事的状況における依存度と意思決定の正確性にどのように影響を与えるか？
• RQ4 自分自身の能力に対する自己認識が、AIや人間の意思決定支援への過剰依存の傾向をどの程度緩和するか？
• RQ5 一般のAIへの態度や技術への信頼が、知識や能力の兆候とどのように相互作用し、自動化システムへの依存を形作るか？

主な発見

• AIの背景知識とAIへの依存度の間には非線形な関係が存在する：自動化バイアスは、AIへのなじみが低～中程度の段階で最も顕著になり、知識が最も高い段階で低下する。
• AI経験が最も少ない被験者たちはわずかにアルゴリズム嫌悪に陥りやすいが、知識が増加するにつれて自動化バイアスが現れ、知識が最も高い段階で安定する。
• タスク遂行に対する自己認識が低い被験者は、AI意思決定支援の助言を受けた場合、特にAIの知識が高くなるほど、誤った回答を是正する可能性が著しく高まった。正確性は約50％からほぼ70％に上昇した。
• 一般のAIへの信頼が高く、システムの能力が高く評価された場合、AIの助言に従う可能性が顕著に上昇した。特に高精度であると説明されたAI支援は、人間のアナリストよりも信頼された。
• 自分自身の能力に対する自己認識は、過剰依存の強い負の予測要因であった：正確であると信じていた被験者は、AIや人間の意思決定支援に従う傾向が低かった。
• AIのなじみ、自己認識、システム能力の相互作用が、意思決定の正確性に顕著な変動を説明し、正確性が最も高かったのは、自己認識が低く、AIの知識が高く、能力の高いAIシステムの助言を受けた被験者であった。

Figure 2 : Mean Level of Switching Per Treatment Type