[论文解读] "It Felt Like Having a Second Mind": Investigating Human-AI Co-creativity in Prewriting with Large Language Models

Qian Wan, Siying Hu+4 more|arXiv (Cornell University)|Jul 20, 2023

Machine Learning in Materials Science参考文献 69被引用 5

一句话总结

本研究探讨了在使用大型语言模型（LLMs）进行写作前准备阶段的人机协同创造力，揭示了一个包含三个阶段的迭代过程——构思、顿悟与实施，其中人类在协作中占据主导地位，且人类与AI之间的主导权动态切换。研究结果凸显了协作模式、协作中断现象以及面向LLM增强型创造力支持工具的设计启示。

ABSTRACT

Prewriting is the process of discovering and developing ideas before a first draft, which requires divergent thinking and often implies unstructured strategies such as diagramming, outlining, free-writing, etc. Although large language models (LLMs) have been demonstrated to be useful for a variety of tasks including creative writing, little is known about how users would collaborate with LLMs to support prewriting. The preferred collaborative role and initiative of LLMs during such a creativity process is also unclear. To investigate human-LLM collaboration patterns and dynamics during prewriting, we conducted a three-session qualitative study with 15 participants in two creative tasks: story writing and slogan writing. The findings indicated that during collaborative prewriting, there appears to be a three-stage iterative Human-AI Co-creativity process that includes Ideation, Illumination, and Implementation stages. This collaborative process champions the human in a dominant role, in addition to mixed and shifting levels of initiative that exist between humans and LLMs. This research also reports on collaboration breakdowns that occur during this process, user perceptions of using existing LLMs during Human-AI Co-creativity, and discusses design implications to support this co-creativity process.

研究动机与目标

• 理解在创意写作的发散性思维阶段（即前写作阶段）中，人类与LLM之间的协作工作流程与动态特征。
• 识别在人机协同创造力过程的不同阶段中，人类与LLM各自的角色及主导权水平。
• 揭示在非结构化、迭代性的前写作任务中，人机协作所面临的挑战及应对策略。
• 基于用户感知与观察到的协作模式，提出面向未来基于LLM的创造力支持工具的设计启示。

提出的方法

• 对来自设计与写作背景的15名参与者开展了为期三轮的定性研究。
• 参与者使用GPT-3作为LLM，完成了两项创意任务：故事创作与标语创作。
• 通过迭代式访谈与屏幕录制会话，分析协作工作流程与主导权转移情况。
• 采用主题分析法，识别出重复出现的协作模式、协作中断现象及用户感知。
• 基于观察到的工作流程，构建了一个三阶段的人机协同创造力模型：构思、顿悟与实施。
• 收集并分类用户对可解释性与AI文档化的需求，以指导未来工具设计。

实验结果

研究问题

• RQ1 RQ1：用户在使用LLM进行前写作时，采用的协作流程、工作流或策略是什么？LLM在此过程中的角色是什么？
• RQ2 RQ2：在使用现有LLM支持前写作时存在哪些挑战？这些挑战如何影响协作？
• RQ3 RQ3：用户如何看待前写作过程中LLM的主导权与行为表现？哪些设计特性有助于实现高效的协同创造力？

主要发现

• 参与者遵循一个三阶段的迭代式人机协同创造力过程：构思（创意生成）、顿悟（创意优化与洞察形成）与实施（可操作输出的创建）。
• 人类在协作中始终占据主导地位，尤其在发起和引导流程方面；同时，主导权在人类与LLM之间动态切换。
• 常见的协作中断包括LLM生成文化偏见或无关的建议，以及用户难以为多样化创意生成设计有效提示。
• 用户频繁采用应对策略，如重述提示、请求多种变体或改用更结构化的输入格式，以克服LLM的局限性。
• 用户更重视提示策略与输入/输出引导的透明度，而非技术性模型细节，表明创造力工具中需要提供易于理解的AI文档。
• 本研究发现，现有LLM在前写作的早期阶段往往无法有效支持原创性与发散性思维，因其更注重连贯性与合理性，而非新颖性。