[论文解读] Conceptual Design Generation Using Large Language Models

Kevin Ma, Daniele Grandi+2 more|arXiv (Cornell University)|May 30, 2023

Design Education and Practice被引用 5

一句话总结

本文研究了大型语言模型（LLMs）在概念设计生成中的应用，将 LLM 生成的解决方案与 12 个问题中的众包设计进行比较。结果表明，LLM 输出在可行性和实用性方面更优，而众包设计更具新颖性；通过 few-shot learning 的提示工程可提高 LLM 输出与人类生成方案的一致性。

ABSTRACT

Concept generation is a creative step in the conceptual design phase, where designers often turn to brainstorming, mindmapping, or crowdsourcing design ideas to complement their own knowledge of the domain. Recent advances in natural language processing (NLP) and machine learning (ML) have led to the rise of Large Language Models (LLMs) capable of generating seemingly creative outputs from textual prompts. The success of these models has led to their integration and application across a variety of domains, including art, entertainment, and other creative work. In this paper, we leverage LLMs to generate solutions for a set of 12 design problems and compare them to a baseline of crowdsourced solutions. We evaluate the differences between generated and crowdsourced design solutions through multiple perspectives, including human expert evaluations and computational metrics. Expert evaluations indicate that the LLM-generated solutions have higher average feasibility and usefulness while the crowdsourced solutions have more novelty. We experiment with prompt engineering and find that leveraging few-shot learning can lead to the generation of solutions that are more similar to the crowdsourced solutions. These findings provide insight into the quality of design solutions generated with LLMs and begins to evaluate prompt engineering techniques that could be leveraged by practitioners to generate higher-quality design solutions synergistically with LLMs.

研究动机与目标

• 评估大型语言模型（LLMs）在概念设计任务中生成设计解决方案的质量。
• 从可行性、实用性和新颖性角度，比较 LLM 生成的设计与众包解决方案。
• 研究提示工程（尤其是 few-shot learning）对提升 LLM 生成设计质量与相似性的影响。
• 为从业者提供协同利用 LLM 与人类输入进行设计创新的实际方法。

提出的方法

• 作者将预训练的 LLM 应用于生成 12 个预定义的概念设计问题的解决方案。
• 他们收集了众包参与者作为基线的解决方案以供比较。
• 通过人类专家评估来衡量生成设计的可行性和实用性。
• 新颖性通过计算度量方法进行评估，包括设计概念的语义多样性与独特性。
• 应用提示工程技术，特别是 few-shot prompting，以引导 LLM 生成更接近众包输出的解决方案。
• 采用多种评估视角——定性专家判断与定量计算度量——来评估解决方案质量。

实验结果

研究问题

• RQ1 LLM 生成的设计解决方案在可行性和实用性方面与众包解决方案相比如何？
• RQ2 LLM 生成的设计在新颖性方面与人类生成设计相比程度如何？
• RQ3 提示工程技术（如 few-shot learning）能否提升 LLM 生成设计的质量与人类相似性？
• RQ4 LLM 与众包在设计质量的不同维度上各自的优势是什么？

主要发现

• 在专家评估中，LLM 生成的解决方案在可行性和实用性方面的平均得分高于众包解决方案。
• 根据人类评估与计算度量，众包解决方案在新颖性方面显著优于 LLM 生成的设计。
• 采用 few-shot prompting 后，LLM 生成的设计在结构与概念方法上更接近众包解决方案。
• 尽管新颖性较低，LLM 生成的设计在领域专家眼中始终被认为更具实用性和可实施性。
• 将提示工程与 LLM 结合，可使从业者引导模型输出向更高质量、更具上下文相关性的设计概念发展。
• 本研究为通过结构化提示设计与多维评估框架，评估和改进基于 LLM 的设计生成奠定了基础。