[論文レビュー] Belief Updating and Delegation in Multi-Task Human-AI Interaction: Evidence from Controlled Simulations

Shreyan Biswas, Alexander Erlei+1 more|arXiv (Cornell University)|Feb 2, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

論文は、ユーザーが複数のタスクを横断してAIの正確性に関する信念を持ち越し、保守的に更新し、自己信頼感よりも主観的なAI正確性の信念に基づいて主に委任することを示している。 preregistered multi-task 実験でAIの正確性レベルを統制。

ABSTRACT

Large language models (LLMs) increasingly support heterogeneous tasks within a single interface, requiring users to form, update, and act upon beliefs about one system across domains with different reliability profiles. Understanding how such beliefs transfer across tasks and shape delegation is therefore critical for the design of multipurpose AI systems. We report a preregistered experiment (N=240; 7,200 trials) in which participants interacted with a controlled AI simulation across grammar checking, travel planning, and visual question answering, each with fixed, domain-typical accuracy levels. Delegation was operationalized as a binary reliance decision: accepting the AI's output versus acting independently, and belief dynamics were evaluated against Bayesian benchmarks. We find three main results. First, participants do not reset beliefs between tasks: priors in a new task depend on posteriors from the previous task, with a 10-point increase predicting a 3-4 point higher subsequent prior. Second, within tasks, belief updating follows the Bayesian direction but is substantially conservative, proceeding at roughly half the normative Bayesian rate. Third, delegation is driven primarily by subjective beliefs about AI accuracy rather than self-confidence, though confidence independently reduces reliance when beliefs are held constant. Together, these findings show that users form global, path-dependent expectations about multipurpose AI systems, update them conservatively, and rely on AI primarily based on subjective beliefs rather than objective performance. We discuss implications for expectation calibration, reliance design, and the risks of belief spillovers in deployed LLM-based interfaces.

研究の動機と目的

• 同じAIをさまざまな正確さをもつ複数のタスクで相互作用する際、AIシステムの正確性に対する信念をどのように形成・更新・転用するかを調べる。
• ユーザーのAI正確性に関する信念と自己信頼感が、人間とAIの相互作用における委任決定にどのように共同影響するかを検討する。
• 観察 performance 前の初期信念を形作る性格的信頼（ disposed trust ）と関連する個人差が、初期信念にどのように影響するかを評価する。

提案手法

• 固定された正確性レベルを持つ3つのタスク（文法エラー検出30%、旅行計画60%、視覚的質問応答90%）を跨ぐ preregistered, within-subject 実験を実施する（N=240、試行数7,200）。
• タスク固有の正確性を模擬する事前スクリプトAI出力を使用し、信念更新をベイズ的ベンチマーク（Beta–Binomialモデル）と保守性更新に対して測定する。
• 委任を各試行ごとの二値選択（AIに委任する vs. 自分で回答する）として定義し、試行ごとの信念、自己信頼、信頼の動態を追跡する。
• 基礎的な性格指標（TiA、AIリテラシー、認知欲求）を収集し、タスク後の信頼度を測定して初期事前分布と更新・委任のモジュレーションを予測する。

(a) Grammar Error Detection

実験結果

リサーチクエスチョン

• RQ1 RQ1: 同じAIを複数の正確さをもつタスクで相互作用させる際、AIシステムの正確性に関する信念をどのように形成・更新・転用するか？
• RQ2 RQ2: ユーザーのAI正確性に関する信念と自己信頼感は、人間とAIの相互作用における委任決定にどのように共同影響するか？
• RQ3 RQ3: 観察 performance の前に、性格的信頼と関連する個人差がユーザーのAI正確性に関する初期信念をどのように形作るか？

主な発見

• AIの正確性に関する事前信念はタスク間でリセットされず、前のタスクから持ち越され、タスク間の信念の慣性を示す。
• タスク内では、信念更新はベイズ的方向へ動くが、ベイズ更新より約半分の強さであり（保守性バイアス）。
• 信念を制御した上で、委任は自己信頼感よりも過去のAI正確性に関する遅延信念によって主に予測される。
• より高い性格的信頼はAI正確性に関する初期事前を予測するが、AIリテラシーは独立した影響を与える。
• この研究は、多タスク・多正確性設定における信念更新と委任の体系的な証拠を提供し、跨タスクの波及と信念ダイナミクスの有界合理性を浮き彫りにする。

(b) Travel Planning