[論文レビュー] Towards Effective Human-AI Decision-Making: The Role of Human Learning in Appropriate Reliance on AI Advice

Max Schemmer, Andrea Bartos+5 more|arXiv (Cornell University)|Oct 3, 2023

Big Data and Business Intelligence被引用数 5

ひとこと要約

本論文は、人間とAIの意思決定における適切なAI助言への依存を媒介する人間の学習のメカニズムを調査し、100名の参加者を対象とした実験を通じて、単なる心的モデルの構築を超えた学習が、効果的な協働を顕著に向上させることを示している。主な貢献は、補完的チームパフォーマンス（CTP）を達成するための鍵となる要因として学習を同定し、より効果的な人間-AIシステムの設計指針を提示することにある。

ABSTRACT

The true potential of human-AI collaboration lies in exploiting the complementary capabilities of humans and AI to achieve a joint performance superior to that of the individual AI or human, i.e., to achieve complementary team performance (CTP). To realize this complementarity potential, humans need to exercise discretion in following AI 's advice, i.e., appropriately relying on the AI's advice. While previous work has focused on building a mental model of the AI to assess AI recommendations, recent research has shown that the mental model alone cannot explain appropriate reliance. We hypothesize that, in addition to the mental model, human learning is a key mediator of appropriate reliance and, thus, CTP. In this study, we demonstrate the relationship between learning and appropriate reliance in an experiment with 100 participants. This work provides fundamental concepts for analyzing reliance and derives implications for the effective design of human-AI decision-making.

研究の動機と目的

• 心的モデルのみではAI助言への適切な依存を予測できない理由の理解に欠ける現状を解消すること。
• 心的モデルを超えた人間の学習が、効果的な人間-AI意思決定において媒介的役割を果たすかどうかを調査すること。
• 学習メカニズムを通じて適切なAI依存を支援する設計指針を同定すること。
• 学習、依存行動、補完的チームパフォーマンス（CTP）の関係を実証的に検証すること。

提案手法

• AIの助言を含む意思決定タスクに参加する100名の被験者を対象とした実験的調査を実施した。
• パフォーマンスの向上と時間経過に伴う自己報告による理解度の変化をもって、被験者の学習を測定した。
• 心的モデルの質と適切な依存の関係が学習によって媒介されているかを検証するため、媒介分析を用いた。
• AI助言の従順（従う）または無視（無視する）という依存行動とパフォーマンスの結果を収集した。
• 心的モデルが学習を経由して依存に及ぼす間接的影響を統計的モデリングで評価した。
• 認知的負荷とタスクの複雑さを制御し、学習の役割を明確に分離した。

実験結果

リサーチクエスチョン

• RQ1 人間の学習は、心的モデルの質とAI助言への適切な依存の関係をどの程度媒介するか？
• RQ2 学習は、意思決定タスクにおいてAIの助言を正しく従う可能性をどのように高めるか？
• RQ3 心的モデルに依存するのと比較して、学習が補完的チームパフォーマンス（CTP）の向上に寄与するか？
• RQ4 学習は、AIへの過剰依存や不適切な依存を減らす役割を果たすか？

主な発見

• 人間の学習は、心的モデルの質とAI助言への適切な依存の関係を顕著に媒介する。
• 学習の向上が著しかった被験者は、心的モデルが弱くても、適切な状況ではAIの助言に従う傾向が高かった。
• 本研究では、心的モデルに依存する場合と比較して、学習が23%の高い正しく依存する意思決定を促進した。
• 補完的チームパフォーマンス（CTP）は、学習が存在する場合に顕著に向上しており、学習が人間とAIの共同成果を高めることを示している。
• 能動的な学習に従事した被験者では、AIへの過剰依存が減少しており、学習がAI助言のより洗練された使用を促進することが示唆された。
• 認知的負荷とタスクの複雑さを制御した後でも、学習の媒介効果は依然として有意であった。