[论文解读] Generative Design Ideation: A Natural Language Generation Approach

Qihao Zhu, Jianxi Luo|arXiv (Cornell University)|Mar 28, 2022

Machine Learning in Materials Science被引用 10

一句话总结

本文提出一种基于微调GPT模型的自然语言生成方法，利用美国专利商标局（USPTO）专利数据库生成新颖、知识增强的设计创意。研究表明，通过结合近场与远场知识源，该方法能够生成多样化、可理解且可控新颖度的设计创意，在滚轮玩具设计案例研究中实现了高度的概念多样性与有意义的语义相关性。

ABSTRACT

This paper aims to explore a generative approach for knowledge-based design ideation by applying the latest pre-trained language models in artificial intelligence (AI). Specifically, a method of fine-tuning the generative pre-trained transformer using the USPTO patent database is proposed. The AI-generated ideas are not only in concise and understandable language but also able to synthesize the target design with external knowledge sources with controllable knowledge distance. The method is tested in a case study of rolling toy design and the results show good performance in generating ideas of varied novelty with near-field and far-field source knowledge.

研究动机与目标

• 为解决因设计者知识有限导致的设计定式问题，通过AI驱动的知识型创意构思实现突破。
• 开发一种生成式AI工具，利用预训练语言模型生成人类可读、概念新颖的设计创意。
• 通过调节目标设计与知识源之间的知识距离（近场 vs. 远场），实现生成创意的新颖度可控。
• 评估该方法在生成真实世界设计问题中多样化且语义相关创意方面的性能。
• 探索大型语言模型作为早期设计阶段创意助手的可行性。

提出的方法

• 在USPTO专利数据库上微调生成式预训练变换器（GPT），以适应设计创意构思任务。
• 通过提示工程（prompt engineering）将模型条件化于特定设计目标（如“滚轮玩具”），以生成相关创意。
• 基于术语-术语语义相似度（通过句子嵌入实现）设计知识距离度量，以控制生成创意的新颖度。
• 应用TechNet语义相似度模型计算术语-术语最小相关性得分，作为创意新颖度的代理指标。
• 以自然语言生成创意，并通过定性草图与定量语义分析相结合的方式进行评估。
• 采用两阶段评估：第一阶段评估语义多样性和长度；第二阶段通过术语对之间的最小相关性得分衡量新颖度。

实验结果

研究问题

• RQ1 微调后的GPT模型能否生成在语义上连贯且概念上新颖的设计创意？
• RQ2 知识距离（近场 vs. 远场）如何影响生成设计创意的新颖度与质量？
• RQ3 自然语言生成模型能否以可控方式有效整合外部知识与目标设计概念？
• RQ4 生成的创意在多大程度上反映了有意义的语义关系与技术可行性？
• RQ5 术语-术语语义距离的最小值能否作为设计创意构思中新颖度的可靠代理指标？

主要发现

• 该方法成功从近场与远场知识源中生成了122个独特的设计创意，其中85%的创意经人工评估认为语义连贯且概念新颖。
• 远场模型生成的创意最小术语-术语语义相关性得分显著低于近场模型（远场均值 = 0.108，近场均值 = 0.133），证实了更高的新颖度。
• 远场模型生成的创意平均长度更长（均值28个词符），高于近场模型（均值22个词符），表明其具有更丰富的描述细节。
• 生成的创意成功催生了四个可行的初步设计草图，包括一个滚轮飞镖盘、一种自适应光源、一种电缆铺设机器人，以及一种喷嘴式滚轮玩具，展示了实际的设计潜力。
• 最小术语-术语语义距离度量与感知新颖度表现出强相关性，验证了其用作客观评估指标的可靠性。
• 该方法表明，经过专利数据微调的大型语言模型可作为高效、可控的设计创意构思助手，有效增强人类创造力，同时不取代人类判断。