[论文解读] Human Creativity in the Age of LLMs: Randomized Experiments on Divergent and Convergent Thinking

Harsh Kumar, Jonathan Vincentius+2 more|arXiv (Cornell University)|Sep 24, 2024

Private Equity and Venture CapitalBusiness, Management and Accounting被引用 3

一句话总结

本研究通过两项预先注册的随机实验，共1,100名参与者，调查大型语言模型（LLMs）如何影响人类创造力，比较了标准LLM辅助、教练式LLM指导以及无辅助三种条件。研究发现，尽管LLMs在辅助任务中提升了创造力，但在无辅助情境下可能损害独立创造力表现，提示长期使用AI工具可能导致认知依赖。

ABSTRACT

Large language models are transforming the creative process by offering unprecedented capabilities to algorithmically generate ideas. While these tools can enhance human creativity when people co-create with them, it's unclear how this will impact unassisted human creativity. We conducted two large pre-registered parallel experiments involving 1,100 participants attempting tasks targeting the two core components of creativity, divergent and convergent thinking. We compare the effects of two forms of large language model (LLM) assistance -- a standard LLM providing direct answers and a coach-like LLM offering guidance -- with a control group receiving no AI assistance, and focus particularly on how all groups perform in a final, unassisted stage. Our findings reveal that while LLM assistance can provide short-term boosts in creativity during assisted tasks, it may inadvertently hinder independent creative performance when users work without assistance, raising concerns about the long-term impact on human creativity and cognition.

研究动机与目标

• 在受控实验环境中，调查不同形式的LLM辅助对人类创造力的影响。
• 评估LLMs在先前接触AI辅助后，对独立创造力表现的增强或损害作用。
• 比较直接LLM答案与教练式指导对发散思维与聚合思维的影响。
• 评估AI使用对人类创造力潜能的长期认知影响。
• 提供实证证据，判断AI辅助是促进还是削弱独立人类创造力。

提出的方法

• 开展两项预先注册的平行实验，共1,100名参与者，随机分配至三种条件：无辅助、标准LLM辅助或教练式LLM指导。
• 使用替代用途测试（AUT）测量发散思维，使用远距离联想测试（RAT）测量聚合思维。
• 参与者完成一系列带有指定LLM辅助的暴露轮次，随后进行最终无辅助测试轮次，以评估残留创造力表现。
• 采用被试内设计，并在暴露与测试阶段之间设置延迟期，以隔离长期影响。
• 收集并分析定性与定量输出，以评估创造力指标，包括想法数量、原创性及解决方案质量。
• 在教练式LLM中控制语言冗长度与指导风格，以隔离交互设计对认知结果的影响。

Figure 1. Experimental framework for measuring the impact of AI use on Human creativity. Participants engage in a series of Exposure rounds where they are randomized to either receive - (A) No assistance, (B) LLM solution (standard): This could be analogous to using a chat LLM such as ChatGPT for th

实验结果

研究问题

• RQ1 RQ1：与无辅助相比，标准LLM辅助与教练式LLM指导如何影响个体在独立生成创意时的发散思维能力？
• RQ2 RQ2：与无辅助相比，标准LLM辅助与教练式LLM指导如何影响个体在独立优化与选择创意时的聚合思维能力？
• RQ3 RQ3：先前接触LLM辅助如何影响后续任务中的无辅助创造力表现？
• RQ4 RQ4：LLM交互模式（直接答案 vs. 引导性思维）是否对长期人类创造力认知产生差异化影响？

主要发现

• 接受标准LLM辅助的参与者在辅助任务中表现出更高的想法生成量，但在最终无辅助测试轮次中的表现劣于对照组。
• 教练式LLM指导在无辅助测试阶段的表现优于直接LLM辅助，表明引导反思可能有助于维持独立创造力。
• 对照组在最终无辅助轮次中的表现优于两类LLM辅助组，表明AI辅助可能随时间推移损害独立创造力表现。
• 研究观察到，在接触LLMs后，无辅助任务中的原创性与想法数量显著下降，尤其在使用直接答案模型时更为明显。
• 使用教练式LLM的参与者在测试阶段生成了更多概念上不同的想法，表明以过程为导向的辅助可能更有利于创造性技能的认知保留。
• 结果表明，过度依赖LLMs获取直接答案可能导致独立创造力思维的认知萎缩，即使仅经过短暂接触。

Figure 2. Schematic of design for Experiment 1 on divergent thinking.