[논문 리뷰] Belief Updating and Delegation in Multi-Task Human-AI Interaction: Evidence from Controlled Simulations

Shreyan Biswas, Alexander Erlei외 1명|arXiv (Cornell University)|2026. 02. 02.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

이 논문은 사용자가 서로 다른 정확도에서 같은 AI 시스템을 다수의 작업에 걸쳐 접할 때 AI 정확도에 대한 신념을 이전하고, 보수적으로 업데이트하며, 주로 자기 신뢰보다는 주관적 AI 정확도 신념에 의존하여 위임을 결정한다는 것을 예비등록된 다중 작업 실험에서 제어된 AI 정확도 수준으로 보여준다.

ABSTRACT

Large language models (LLMs) increasingly support heterogeneous tasks within a single interface, requiring users to form, update, and act upon beliefs about one system across domains with different reliability profiles. Understanding how such beliefs transfer across tasks and shape delegation is therefore critical for the design of multipurpose AI systems. We report a preregistered experiment (N=240; 7,200 trials) in which participants interacted with a controlled AI simulation across grammar checking, travel planning, and visual question answering, each with fixed, domain-typical accuracy levels. Delegation was operationalized as a binary reliance decision: accepting the AI's output versus acting independently, and belief dynamics were evaluated against Bayesian benchmarks. We find three main results. First, participants do not reset beliefs between tasks: priors in a new task depend on posteriors from the previous task, with a 10-point increase predicting a 3-4 point higher subsequent prior. Second, within tasks, belief updating follows the Bayesian direction but is substantially conservative, proceeding at roughly half the normative Bayesian rate. Third, delegation is driven primarily by subjective beliefs about AI accuracy rather than self-confidence, though confidence independently reduces reliance when beliefs are held constant. Together, these findings show that users form global, path-dependent expectations about multipurpose AI systems, update them conservatively, and rely on AI primarily based on subjective beliefs rather than objective performance. We discuss implications for expectation calibration, reliance design, and the risks of belief spillovers in deployed LLM-based interfaces.

연구 동기 및 목표

• 같은 AI를 서로 다른 정확도에서 여러 작업에 걸쳐 상호작용할 때 사용자가 AI 시스템의 정확도에 대한 신념을 형성하고 업데이트하며 이전 작업으로 전이시키는 방식 연구.
• 사용자의 AI 정확도 신념과 자기신념(self-confidence)이 인간–AI 상호작용에서의 위임 결정에 어떻게 함께 영향을 미치는지 조사.
• 성과를 관찰하기 전의 초기 신념 형성에 대한 dispositional 신뢰(disutisional trust) 및 관련 개인 차이가 사용자의 AI 정확도 초기 신념에 어떤 영향을 미치는지 평가.

제안 방법

• 세 가지 작업에서 고정된 정확도 수준(문법 오류 탐지 30%, 여행 계획 60%, 시각적 질의 응답 90%)으로, 내부 피험자(pre-registered) 연구를 수행한다(N=240; 7,200회 실험 시도).
• 작업별 정확도를 시뮬레이션하기 위해 사전 스크립트된 AI 출력을 사용하고, 베이지안 벤치마크(Beta–Binomial 모델)와 업데이트의 보수성(conservatism) 측면에서 신념 업데이트를 측정한다.
• 위임을 시도당 이진 선택으로 규정하고(AI에 위임 vs. 본인이 응답) 신념, 자신감, 신뢰의 동역학을 시도별로 추적한다.
• 기초 dispositional 측정(TiA, AI 리터러시, Need for Cognition)을 수집하고 과제 후 신뢰를 측정하여 초기 priors와 업데이트 및 위임의 조정에 대해 예측한다.

(a) Grammar Error Detection

실험 결과

연구 질문

• RQ1 RQ1: 서로 다른 정확도에서 같은 시스템과 상호작용할 때 AI 시스템의 정확도에 대한 신념을 형성하고 업데이트하며 전이시키는 방식은 어떠한가?
• RQ2 RQ2: 사용자의 AI 정확도 신념과 자기신념이 인간–AI 상호작용에서의 위임 결정에 어떻게 함께 영향을 미치는가?
• RQ3 RQ3: 성향적 신뢰(dispositional trust) 및 관련 개인 차이가 성과를 관찰하기 전에 사용자의 AI 정확도 초기 신념에 어떤 영향을 미치는가?

주요 결과

• AI 정확도에 대한 priors는 작업 간에 초기화를 재설정하지 않고 이전 작업에서 계속 누적되어 교차 작업 신념 관성을 보임.
• 작업 내에서의 신념 업데이트는 베이지안 방향으로 진행되지만 베이지안 업데이트의 절반 정도의 강도(보수성 편향)를 보인다.
• 신념이 통제된 상태에서 위임은 자기 신념보다 이전 시점의 AI 정확도에 대한 신념에 의해 주로 예측된다.
• 높은 dispositional trust는 AI 정확도에 대한 초기 priors를 더 높게 예측하며, AI 리터러시가 독립적으로 이를 보강한다.
• 이 연구는 다중 작업 다중 정확도 설정에서 신념 업데이트와 위임에 대한 체계적 증거를 제공하며, 교차 작업 확산과 경계 있는 합리성의 신념 역학을 강조한다.

(b) Travel Planning