[논문 리뷰] Believing vs. Achieving -- The Disconnect between Efficacy Beliefs and Collaborative Outcomes

Philipp Spitzer, Joshua Holstein|arXiv (Cornell University)|2026. 03. 11.

Team Dynamics and Performance인용 수 0

한 줄 요약

이 논문은 인간-AI 협업에서 효과성 신념이 위임 결정에 어떤 영향을 미치는지 실험적으로 분석하며, 지속적인 AI 낙관주의와 맥락 정보가 의존 및 결과에 미치는 비대칭적 영향을 드러낸다.

ABSTRACT

As artificial intelligence (AI) becomes increasingly integrated into workflows, humans must decide when to rely on AI advice. These decisions depend on general efficacy beliefs, i.e., humans' confidence in their own abilities and their perceptions of AI competence. While prior work has examined factors influencing AI reliance, the role of efficacy beliefs in shaping collaboration remains underexplored. Through a controlled experiment (N=240) where participants made repeated delegation decisions, we investigate how efficacy beliefs translate into instance-wise efficacy judgments under varying contextual information. Our explorative findings reveal efficacy beliefs as persistent cognitive anchors, leading to systematic "AI optimism". Contextual information operates asymmetrically: while AI performance information selectively eliminates the AI optimism bias, data or AI information amplify how efficacy discrepancies influence delegation decisions. Although efficacy discrepancies influence delegation behavior, they show weaker effects on human-AI team performance. As these findings challenge transparency-focused approaches, we propose design guidelines for effective collaborative settings.

연구 동기 및 목표

• 일반적 효과성 신념(자기효능감 및 인지된 AI 역량)이 인간-AI 협업에서 인스턴스 수준의 위임 결정에 어떠한 영향을 미치는지 조사한다.
• 맥락 정보가 효과성 신념과 위임 행동 간의 관계를 어떻게 조절하는지 검토한다.
• 효과성 신념의 차이가 인간-AI 팀 성능의 변화로 이어지는지 평가한다.
• AI 보강 워크플로우에서 협업 의사결정을 개선하기 위한 설계 지침을 식별한다.

제안 방법

• 반복적인 위임 결정을 수행하는 N=240 참가자를 대상으로 한 통제된 실험을 수행한다.
• AI 성능 및 데이터/AI 정보 가용성에 관한 맥락 정보를 조작한다.
• 참가자가 AI에 위임할지 여부를 결정할 때 효과성 신념과 인스턴스 단위의 효과성 판단을 측정한다.
• 다양한 정보 맥락에서 효과성 신념이 위임 선택과 어떤 관련이 있는지 분석한다.
• 효과성 차이가 팀 성과 및 의사 결정 품질에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 인간 및 AI 역량에 대한 효과성 신념이 사례별 위임 결정 예측에 영향을 미치는가?
• RQ2 AI 성능 또는 데이터에 대한 맥락 정보가 효과성 신념과 위임 선택 간의 연관성에 어떤 영향을 미치는가?
• RQ3 인간과 AI 효과성 신념 간의 차이가 협력적 결과에 측정 가능하게 변화로 이어지는가?
• RQ4 정보의 서로 다른 유형이 위임 결정에서 AI 낙관주의를 완화하거나 증폭시키는 비대칭성이 있는가?

주요 결과

• 효과성 신념은 지속적인 인지적 닻으로 작용하여 위임 선택에서 일관된 AI 낙관주의를 낳는다.
• 맥락 정보는 AI 성능과 관련될 때 AI 낙관주의를 선별적으로 제거하지만, 데이터나 AI 정보는 효과성 차이가 위임 결정에 미치는 영향을 증폭시킬 수 있다.
• 효과성 차이는 인간-AI 팀 전체 성과보다 위임 행동에 더 큰 영향을 준다.
• 투명성 중심의 접근이 믿음과 결과 간의 관찰된 불일치를 완전히 해결하지 못하는 것으로 보이며, 협업을 개선하기 위한 설계 지침 필요성을 시사한다.