[论文解读] Beyond Recommender: An Exploratory Study of the Effects of Different AI Roles in AI-Assisted Decision Making

Shuai Ma, Chenyi Zhang+3 more|arXiv (Cornell University)|Mar 4, 2024

Impact of AI and Big Data on Business and Society被引用 4

一句话总结

本研究探讨了不同AI角色（推荐者、分析者、反方辩护者）在不同AI性能水平下对人类决策的影响。研究发现，当AI表现高度准确（90%）时，推荐者角色表现最佳；而当AI性能较低（65%）时，分析者角色显著优于推荐者角色，带来更优的任务表现、更恰当的依赖行为以及更佳的用户体验。

ABSTRACT

Artificial Intelligence (AI) is increasingly employed in various decision-making tasks, typically as a Recommender, providing recommendations that the AI deems correct. However, recent studies suggest this may diminish human analytical thinking and lead to humans' inappropriate reliance on AI, impairing the synergy in human-AI teams. In contrast, human advisors in group decision-making perform various roles, such as analyzing alternative options or criticizing decision-makers to encourage their critical thinking. This diversity of roles has not yet been empirically explored in AI assistance. In this paper, we examine three AI roles: Recommender, Analyzer, and Devil's Advocate, and evaluate their effects across two AI performance levels. Our results show each role's distinct strengths and limitations in task performance, reliance appropriateness, and user experience. Notably, the Recommender role is not always the most effective, especially if the AI performance level is low, the Analyzer role may be preferable. These insights offer valuable implications for designing AI assistants with adaptive functional roles according to different situations.

研究动机与目标

• 探究将AI角色从单纯推荐扩展至其他角色，是否能提升人机决策协同效果。
• 解决AI仅作为推荐者时导致的过度依赖与分析思维减弱问题。
• 考察AI性能水平如何调节不同AI角色在人机协作中的有效性。
• 探讨AI角色对任务表现、依赖恰当性以及用户体验的影响。
• 为基于情境、性能和用户需求的自适应AI角色设计提供实证依据。

提出的方法

• 通过Prolific平台招募180名参与者，开展受控用户研究，要求其将新闻文章分类为商业、娱乐或政治类别。
• 实施三种AI角色：推荐者（提供推荐结果及解释）、分析者（呈现各选项的利弊）、反方辩护者（挑战用户初始选择）。
• 评估两种AI性能水平：低性能（65%准确率）与高性能（90%准确率），共形成六个实验条件（3种角色 × 2种性能水平）。
• 测量任务表现、依赖恰当性（通过决策后信心度与正确答案的一致性评估）以及用户体验（满意度、帮助性、信任度）。
• 采用混合方法分析：定量指标用于评估表现与依赖行为，定性反馈用于深入理解用户体验。
• 分析AI角色与性能水平之间的交互效应，并通过统计检验验证不同条件间的显著差异。

Figure 1. The interfaces of three AI roles. (a) Recommender: In this interface, the AI directly presents a recommendation along with its explanation. (b) Analyzer: The AI assists in evaluating the pros and cons of each option. By default, it displays an overview of all options and highlights two hig

实验结果

研究问题

• RQ1 不同AI助手角色如何影响人机协同决策中的任务表现？
• RQ2 不同AI助手角色如何影响人类对AI依赖的恰当性？
• RQ3 不同AI助手角色如何影响用户体验，包括满意度、信任度及感知帮助性？
• RQ4 AI性能水平如何调节不同AI角色的有效性？
• RQ5 用户在面对每种AI角色时，其潜在行为模式（如参与度、抵触情绪）是怎样的？

主要发现

• 当AI性能较高（90%准确率）时，推荐者角色带来最高任务表现，85%的参与者选择了正确类别。
• 当AI性能较低（65%准确率）时，分析者角色显著优于推荐者角色，正确分类率达78%，而推荐者仅为69%。
• 分析者角色在两种性能水平下均带来更恰当的依赖行为，尤其在AI表现不佳时有效减少了过度依赖。
• 当AI性能较低时，用户对分析者角色的满意度、帮助性及信任度更高，表明在低信任情境下分析者角色能提供更佳用户体验。
• 反方辩护者角色无论AI性能高低，均表现出低参与度与高抵触情绪，表明用户普遍抗拒AI的批判性挑战。
• 当AI性能较高时，用户更积极地参与分析者提供的基于证据的分析，表明高质量AI可促进更深层次的认知加工。

Figure 2. The task accuracy in three AI role conditions. (a) When AI performance is high. (b) When AI performance is low. Error bars represent standard error. (+: $p$ ¡0.1, *: $p$ ¡0.05, **: $p$ ¡0.01, ***: $p$ ¡0.001)