[论文解读] Generative Pre-Trained Transformer for Design Concept Generation: An Exploration

Qihao Zhu, Jianxi Luo|arXiv (Cornell University)|Nov 16, 2021

Design Education and Practice被引用 8

一句话总结

本文探讨了在早期设计创新阶段，利用生成式预训练变换器（GPT-2 和 GPT-3）进行基于自然语言的设计概念生成。通过使用定制数据集进行 few-shot prompting，GPT 模型在无需微调的情况下，成功通过问题驱动和类比驱动推理生成新颖且概念上合理的 设计想法，表现出色。

ABSTRACT

Novel concepts are essential for design innovation and can be generated with the aid of data stimuli and computers. However, current generative design algorithms focus on diagrammatic or spatial concepts that are either too abstract to understand or too detailed for early phase design exploration. This paper explores the uses of generative pre-trained transformers (GPT) for natural language design concept generation. Our experiments involve the use of GPT-2 and GPT-3 for different creative reasonings in design tasks. Both show reasonably good performance for verbal design concept generation.

研究动机与目标

• 探究使用生成式预训练变换器（GPT）在早期设计阶段实现自动化自然语言设计概念生成的可行性。
• 通过引入一种完全自动化的生成方法，弥补计算机辅助创意生成中的空白，该方法与基于引导或激发的工具截然不同。
• 评估 GPT 模型是否能在无需微调的情况下，对相距甚远的领域（例如，灯笼、折纸）与技术领域（例如，无人机）之间执行类比推理。
• 评估解码超参数（温度、top-p、惩罚项）对生成概念新颖性和重复性的影响。
• 识别出对自动化概念评估工具的需求，以从大规模生成结果中筛选出低质量输出。

提出的方法

• 将 GPT-2 和 GPT-3 用作零样本或 few-shot 语言模型，用于设计概念生成，利用其在大规模文本语料上的预训练。
• 设计了包含结构化输入的定制提示，包括源领域（例如，灯笼、折纸）和目标领域（例如，无人机），以引导类比推理。
• 应用了解码超参数，如温度（0.85）、top-p（1）以及存在/频率惩罚（0.5），以控制生成结果的多样性与新颖性。
• 通过 few-shot prompting 生成设计概念，使用示例输入激发期望的推理模式，而无需对模型进行微调。
• 通过定性和定量方式评估模型输出，比较不同提示策略和超参数设置下的性能表现。
• 未来可集成知识图谱和设计启发式方法（例如，TRIZ、77 项启发式）以提升概念的相关性与多样性。

实验结果

研究问题

• RQ1 GPT 模型是否能在不进行微调的情况下，生成新颖且在概念上成立的设计概念？
• RQ2 GPT-2 和 GPT-3 在设计概念生成中执行问题驱动推理方面的有效性如何？
• RQ3 GPT 模型在文化上相距甚远或无关的领域与技术设计问题之间，类比推理的能力在多大程度上得以实现？
• RQ4 解码超参数如何影响生成设计概念的新颖性与多样性？
• RQ5 自动化评估工具在从大规模 GPT 基于的概念生成中过滤低质量输出方面，可能发挥何种作用？

主要发现

• GPT-3 通过从灯笼和折纸领域中提取类比，成功生成了两个截然不同且概念上一致的无人机设计概念，表明其在无需微调的情况下实现了有效的类比映射。
• GPT-3 有效应用了灯笼的照明功能和折纸的折叠结构，生成了如 D-LIGHT 和 Aerobowl 等新颖概念。
• 提高解码温度和存在/频率惩罚可减少重复并提升新颖性，表明超参数调优能增强概念多样性。
• GPT-2 和 GPT-3 表现出不同行为：GPT-3 在极少提示下更擅长生成新颖概念，而 GPT-2 更容易重复示例输入。
• 模型性能在很大程度上依赖于提示工程的质量，few-shot 示例能有效激发其预训练权重中的相关知识。
• 尽管输出质量较高，但本研究仍承认，由于存在低质量或无关结果，生成的概念仍需通过自动化评估工具进行筛选。