[論文レビュー] Appropriate Reliance on AI Advice: Conceptualization and the Effect of Explanations

Max Schemmer, Niklas Kühl+3 more|arXiv (Cornell University)|Feb 4, 2023

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本論文では、人間がAIの助言に従うべきか、拒否すべきかを評価するための2次元的で定量的な測定概念である「依存の適切さ（AoR）」を導入する。200名の参加者を対象とした実験において、説明が意思決定の正確性を向上させ、誤ったAI助言への過剰依存を軽減することで、AoRを顕著に向上させ、人間とAIの協働を効果的に進めるものとなった。

ABSTRACT

AI advice is becoming increasingly popular, e.g., in investment and medical treatment decisions. As this advice is typically imperfect, decision-makers have to exert discretion as to whether actually follow that advice: they have to "appropriately" rely on correct and turn down incorrect advice. However, current research on appropriate reliance still lacks a common definition as well as an operational measurement concept. Additionally, no in-depth behavioral experiments have been conducted that help understand the factors influencing this behavior. In this paper, we propose Appropriateness of Reliance (AoR) as an underlying, quantifiable two-dimensional measurement concept. We develop a research model that analyzes the effect of providing explanations for AI advice. In an experiment with 200 participants, we demonstrate how these explanations influence the AoR, and, thus, the effectiveness of AI advice. Our work contributes fundamental concepts for the analysis of reliance behavior and the purposeful design of AI advisors.

研究の動機と目的

• AI助言への適切な依存（AR）について、共通の定義と運用可能な測定方法の欠如に応えること。
• 人間の意思決定者がAI助言に従うべきか、拒否すべきかを捉える2次元的で定量的な測定概念「依存の適切さ（AoR）」を構築すること。
• 説明がARに与える影響、特に誤った助言への過剰依存を軽減し、意思決定の正確性を向上させることに寄与するかを調査すること。
• より良い依存行動を支援するAIアドバイザーの設計に基盤を提供すること。

提案手法

• 2次元的AoR指標を提案：(1) 正確なAI助言への正しい依存、(2) 間違いのあるAI助言への拒否。
• 説明がAoRに与える影響を分析する研究モデルを構築し、人間のパフォーマンス、AIのパフォーマンス、依存行動を統合的に組み込む。
• 200名の参加者を対象とした実験的調査を実施。順次タスクの設定下で、人間が最初に単独で意思決定を行い、その後、説明あり・なしのAI助言を受ける。
• ホテルレビューの詐欺検出タスクを用い、AI助言が誤りになり得る現実世界の意思決定状況を模擬する。
• 統計的分析を用いて、説明あり・なしの条件間でのAoRスコアを比較し、依存の正確性の変化を測定する。
• 人間とAIの協働が個々のパフォーマンスを上回る状況を定義する形式的パフォーマンス条件（CTP）を適用し、RSRやRAIRなどの指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 AI助言への適切な依存は、どのように概念的に定義され、運用的に測定可能か？
• RQ2 説明は、AI助言への依存の適切さをどの程度向上させるか？
• RQ3 説明は、正確な助言への正しい依存と、誤った助言への拒否のバランスにどのように影響するか？
• RQ4 説明は、人間とAIの協働パフォーマンスにどのような影響を及ぼすか、特に誤ったAI推奨に過剰に依存するのを軽減する点で？

主な発見

• 説明は、依存の適切さ（AoR）を顕著に向上させ、AI助言に依存する際の正しい意思決定の可能性を高めた。
• 説明を受けた参加者では、誤ったAI助言への過剰依存が明確に減少しており、優れた推薦と悪い推薦をより適切に識別できていることが示された。
• 研究では、説明が正確な助言への正しい依存と誤った助言への拒否の両方を向上させ、AoRの2次元的性質を裏付ける結果が得られた。
• 実験結果から、説明が、人間とAIの協働が個々の能力を上回る「補完的チームパフォーマンス（CTP）」を達成するのを支援することが明らかになった。
• 順次タスクの設定から、おそらく全体のRSRおよびRAIRに制限をもたらす可能性のあるアンカーリング効果が観察されたことから、リアルタイムの依存行動を測定する上での方法論的制約が示唆された。