[论文解读] AI-Augmented Brainwriting: Investigating the use of LLMs in group ideation

Orit Shaer, Angelora Cooper+3 more|arXiv (Cornell University)|Feb 22, 2024

Team Dynamics and Performance被引用 6

一句话总结

本论文研究将大型语言模型（LLMs）整合到群体脑写（group Brainwriting）的发散想法生成与收敛评估中，提出一个协作的 Group-AI Brainwriting 框架、一个基于 LLM 的评估引擎，以及一项针对本科生的实证研究，以评估对创意产生与评价的影响。

ABSTRACT

The growing availability of generative AI technologies such as large language models (LLMs) has significant implications for creative work. This paper explores twofold aspects of integrating LLMs into the creative process - the divergence stage of idea generation, and the convergence stage of evaluation and selection of ideas. We devised a collaborative group-AI Brainwriting ideation framework, which incorporated an LLM as an enhancement into the group ideation process, and evaluated the idea generation process and the resulted solution space. To assess the potential of using LLMs in the idea evaluation process, we design an evaluation engine and compared it to idea ratings assigned by three expert and six novice evaluators. Our findings suggest that integrating LLM in Brainwriting could enhance both the ideation process and its outcome. We also provide evidence that LLMs can support idea evaluation. We conclude by discussing implications for HCI education and practice.

研究动机与目标

• 探索LLMs如何增强群体脑写的发散阶段，以提升创意生成和由此得到的解空间。
• 研究LLMs如何在收敛阶段通过评估与选择想法来提供帮助。
• 设计并评估一个协作的 Group-AI Brainwriting 框架。
• 开发一个基于LLM的评估引擎，在预定义标准上对创意质量进行评分。
• 为HCI教育和实践关于人机共创提供经验证的见解。

提出的方法

• 设计一个协作的、多阶段的 Group-AI Brainwriting 框架，将 LLM 集成到发散阶段用于创意生成、以及收敛阶段用于增强创意。
• 使用 Conceptboard 作为在线工作区来进行平行的创意生成与分享。
• 动用 GPT-3/GPT-4 生成并 refinement 创意，通过提示工程训练对提示进行改进。
• 开发一个基于LLM的评估引擎，以使用Likert量表（具明确锚点）对创意在相关性、创新性和洞察力进行评分。
• 在本科生的有形互动设计课程中进行经验评估，采用定性与定量指标，并与专家和新手人工评估进行比较。
• 通过NLP方法（spaCy、主题建模、LPA）对发散进行语义分析，并比较人类与LLM生成的创意。

实验结果

研究问题

• RQ1 RQ1: 在协作性群体脑写的发散阶段使用LLM是否能增强创意生成过程及其结果？
• RQ2 RQ2: LLM如何在协作性群体脑写的收敛阶段帮助评估创意？

主要发现

• 在发散阶段整合LLMs可提升创意生成并扩展解空间，这在创意的分布与内容中有所体现。
• 参与者表示GPT-3提供了独特的观点，并有助于在初始人类创意之外生成新想法。
• 基于LLM的评估引擎（GPT-4）能够在相关性、创新性和洞察力等维度对创意进行评分，且具有明确定义的标准与量表，其输出与专家与新手人工评估进行了比较。
• 该方法提供证据表明LLMs在收敛阶段可以辅助创意评估，帮助识别待进一步开发的有前景的想法。
• 该框架通过扩展教学方法、为教育者和初学设计师提供AI增强工具等方面对HCI教育产生贡献，同时也凸显了人机协作式创意的优点与局限性。