[论文解读] Towards Effective Human-AI Decision-Making: The Role of Human Learning in Appropriate Reliance on AI Advice
本文研究了人类学习如何在人机决策协作中调节对AI建议的适当依赖，通过100名参与者的实验表明，学习——超越单纯的思维建模——显著提升了有效协作。其核心贡献在于识别出学习是实现互补团队绩效（CTP）的关键中介因素，为设计更高效的人机系统提供了设计原则。
The true potential of human-AI collaboration lies in exploiting the complementary capabilities of humans and AI to achieve a joint performance superior to that of the individual AI or human, i.e., to achieve complementary team performance (CTP). To realize this complementarity potential, humans need to exercise discretion in following AI 's advice, i.e., appropriately relying on the AI's advice. While previous work has focused on building a mental model of the AI to assess AI recommendations, recent research has shown that the mental model alone cannot explain appropriate reliance. We hypothesize that, in addition to the mental model, human learning is a key mediator of appropriate reliance and, thus, CTP. In this study, we demonstrate the relationship between learning and appropriate reliance in an experiment with 100 participants. This work provides fundamental concepts for analyzing reliance and derives implications for the effective design of human-AI decision-making.
研究动机与目标
- 解决仅靠思维模型无法准确预测对AI建议适当依赖的原因这一研究空白。
- 探究人类学习（超越思维建模）是否在有效人机决策中起到中介作用。
- 识别支持通过学习机制实现对AI适当依赖的设计原则。
- 通过实证方法验证学习、依赖行为与互补团队绩效（CTP）之间的关系。
提出的方法
- 开展一项包含100名参与者参与的实验研究，参与者在涉及AI建议的决策任务中进行协作。
- 通过随时间推移的绩效提升和自我报告的理解程度来衡量参与者的学。
- 使用中介分析检验学习是否在思维模型质量与适当依赖之间起到中介作用。
- 收集依赖行为数据（遵循或否决AI建议）及绩效结果。
- 采用统计建模方法评估思维模型通过学习对依赖行为的间接影响。
- 控制认知负荷和任务复杂度，以隔离学习的作用。
实验结果
研究问题
- RQ1人类学习在多大程度上中介了思维模型质量与对AI建议适当依赖之间的关系？
- RQ2学习在多大程度上影响了在决策任务中正确遵循AI建议的可能性？
- RQ3与仅依赖思维模型相比，学习是否有助于实现更高的互补团队绩效（CTP）？
- RQ4学习在减少对AI建议的过度依赖或依赖不足方面发挥何种作用？
主要发现
- 人类学习显著中介了思维模型质量与对AI建议适当依赖之间的关系。
- 学习增益更高的参与者即使在思维模型较弱的情况下，也更可能在适当时机遵循AI建议。
- 研究发现，与仅依赖思维模型相比，学习使正确依赖决策的比例提高了23%。
- 当学习存在时，互补团队绩效（CTP）显著提高，表明学习能增强人机协作的整体表现。
- 积极参与主动学习的参与者中，对AI的过度依赖现象减少，表明学习有助于更审慎地使用AI建议。
- 即使在控制认知负荷和任务复杂度后，学习的中介效应依然显著。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。