[论文解读] Generative AI Enhances Team Performance and Reduces Need for Traditional Teams

Ning Li, Huaikang Zhou+1 more|arXiv (Cornell University)|May 28, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本研究通过一项包含435名参与者、122支团队的随机对照实验，调查了生成式AI对团队绩效的影响。研究发现，AI增强型团队在所有绩效指标上均显著优于传统人类团队，且由少数成员集中使用AI时效果最佳；然而，个体与AI配对的绩效仍低于AI整合型团队，表明尽管AI减少了对传统团队的依赖，但团队整体整合AI可实现最高的绩效提升。

ABSTRACT

Recent advancements in generative artificial intelligence (AI) have transformed collaborative work processes, yet the impact on team performance remains underexplored. Here we examine the role of generative AI in enhancing or replacing traditional team dynamics using a randomized controlled experiment with 435 participants across 122 teams. We show that teams augmented with generative AI significantly outperformed those relying solely on human collaboration across various performance measures. Interestingly, teams with multiple AIs did not exhibit further gains, indicating diminishing returns with increased AI integration. Our analysis suggests that centralized AI usage by a few team members is more effective than distributed engagement. Additionally, individual-AI pairs matched the performance of conventional teams, suggesting a reduced need for traditional team structures in some contexts. However, despite this capability, individual-AI pairs still fell short of the performance levels achieved by AI-assisted teams. These findings underscore that while generative AI can replace some traditional team functions, more comprehensively integrating AI within team structures provides superior benefits, enhancing overall effectiveness beyond individual efforts.

研究动机与目标

• 考察生成式AI在协作环境中对团队绩效的影响。
• 评估AI是否能够替代或减少对传统团队结构的需求。
• 比较纯人类团队、个体-AI配对与AI增强型团队的绩效表现。
• 探究团队内部集中式与分布式AI使用的影响。
• 确定每支团队中多个AI是否能带来增量的绩效提升。

提出的方法

• 开展了一项随机对照实验，共招募435名参与者，组成122支团队，涵盖多种配置。
• 将团队分配至不同实验条件：纯人类协作、个体-AI协作，以及基于团队的AI增强协作。
• 采用集中式AI部署方式，即由一到两名团队成员代表整个团队与AI交互。
• 通过任务准确性、处理速度和输出质量等多项指标衡量绩效表现。
• 使用统计分析比较不同条件下的绩效结果，识别显著差异。
• 评估每支团队中多个AI的使用效果，以判断是否存在收益递减现象。

实验结果

研究问题

• RQ1 与传统纯人类协作相比，生成式AI是否提升了团队绩效？
• RQ2 个体与AI配对的绩效是否能够匹配或超越传统人类团队？
• RQ3 集中式与分布式AI使用对团队结果有何影响？
• RQ4 拥有多个AI的团队是否相比单个AI团队实现了进一步的绩效提升？
• RQ5 在多大程度上，传统团队结构可被AI整合所减少或替代？

主要发现

• AI增强型团队在所有绩效指标上均显著优于纯人类团队。
• 个体-AI配对的绩效与传统人类团队相当，但未实现超越。
• 拥有多个AI的团队未获得进一步的绩效提升，表明存在收益递减现象。
• 集中式AI使用——即仅少数成员与AI交互——相比分布式AI参与，带来了更高的绩效表现。
• AI增强型团队的绩效甚至优于表现最佳的个体-AI配对，证明了团队与AI整合协作的优越性。
• 研究结果表明，尽管生成式AI可减少对传统团队的依赖，但将AI全面整合进团队结构可实现最高的绩效增益。