[论文解读] When ChatGPT is gone: Creativity reverts and homogeneity persists
本研究表明,ChatGPT 在短期内提升创造力,但在缺少 ChatGPT 时,创造力会回到基线水平,内容变得更加同质化,且在移除后效果仍然持续。
ChatGPT has been evidenced to enhance human performance in creative tasks. Yet, it is still unclear if this boosting effect sustains with and without ChatGPT. In a pre-registered seven-day lab experiment and a follow-up survey after 30 days of experiment completion, we examined the impacts of ChatGPT presence and absence on sustained creativity using a text dataset of 3302 creative ideas and 427 creative solutions from 61 college students. Participants in the treatment group used ChatGPT in creative tasks, while those in the control group completed the tasks by themselves. The findings show that although the boosting effect of ChatGPT was consistently observed over a five-day creative journey, human creative performance reverted to baseline when ChatGPT was down on the 7th and the 30th day. More critically, the use of ChatGPT in creative tasks resulted in increasingly homogenized contents, and this homogenization effect persisted even when ChatGPT was absence. These findings pose a challenge to the prevailing argument that ChatGPT can enhance human creativity. In fact, generative AI like ChatGPT lends to human with a temporary rise in creative performance but boxes human creative capability in the long run, highlighting the imperative for cautious generative AI integration in creative endeavors.
研究动机与目标
- 评估 ChatGPT 的存在是否在短期创造性旅程中维持或提升人类创造力。
- 评估在移除 ChatGPT 后创造力提升是否持续。
- 研究在有无 ChatGPT 的情况下,内容多样性与同质化的变化。
- 使用来自 61 名大学生的 3,302 条创意和 427 条创意解决方案的数据集来衡量影响。
提出的方法
- 进行一项 pre-registered seven-day lab experiment,将有 ChatGPT 存在的组与没有 ChatGPT 的对照组进行比较。
- 在 30 days 后收集后续调查以评估效应的持续性。
- 分析一个文本数据集,包含 3,302 条创意和 427 条解决方案,用于评估创造力与内容同质化。
- 比较跨日和 ChatGPT 缺席期间的性能轨迹。
- 使用标准创造力指标来量化提升与回归。
- 就将生成式 AI 融入创造性任务的长期影响得出结论。
实验结果
研究问题
- RQ1ChatGPT 的存在是否在多日任务轨迹中持续提升人类创造力?
- RQ2在移除 ChatGPT 后创造力提升是否持续,若持续,持续多久?
- RQ3对 ChatGPT 的依赖是否导致输出更加同质化?在没有 ChatGPT 的情况下,这种同质化是否仍然存在?
- RQ4在创造性任务中使用生成式 AI 对长期创造力能力有什么影响?
主要发现
- ChatGPT 在五天的创造性旅程中对创造力提供提升效果。
- 在 day 7 ChatGPT 停止使用时,创造力回到基线,在 30-day 跟进时再次回到基线。
- 使用 ChatGPT 会导致内容越来越同质化,这种效应即使在缺少 ChatGPT 时也会持续。
- 研究结果挑战认为 ChatGPT 会普遍提升长期创造力的观点。
- 生成式 AI 可能带来短暂的性能提升,但限制长期创造潜力。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。