[论文解读] Biologically Inspired Design Concept Generation Using Generative Pre-Trained Transformers

Qihao Zhu, Xinyu Zhang+1 more|arXiv (Cornell University)|Dec 26, 2022

Design Education and Practice被引用 4

一句话总结

本文提出一种基于生成式预训练变换器（GPT-3）的方法，通过将生物特征映射到工程解决方案，实现生物启发式设计（BID）概念的自动化生成。该方法微调了三种不同类型的概念生成器与机器评估器，以生成并评估相关类比，在真实世界的轻型飞行汽车项目中表现出色。

ABSTRACT

Biological systems in nature have evolved for millions of years to adapt and survive the environment. Many features they developed can be inspirational and beneficial for solving technical problems in modern industries. This leads to a specific form of design-by-analogy called bio-inspired design (BID). Although BID as a design method has been proven beneficial, the gap between biology and engineering continuously hinders designers from effectively applying the method. Therefore, we explore the recent advance of artificial intelligence (AI) for a data-driven approach to bridge the gap. This paper proposes a generative design approach based on the generative pre-trained language model (PLM) to automatically retrieve and map biological analogy and generate BID in the form of natural language. The latest generative pre-trained transformer, namely GPT-3, is used as the base PLM. Three types of design concept generators are identified and fine-tuned from the PLM according to the looseness of the problem space representation. Machine evaluators are also fine-tuned to assess the mapping relevancy between the domains within the generated BID concepts. The approach is evaluated and then employed in a real-world project of designing light-weighted flying cars during its conceptual design phase The results show our approach can generate BID concepts with good performance.

研究动机与目标

• 为弥合生物系统与工程设计之间的长期鸿沟，实现数据驱动、AI辅助的类比生成。
• 开发一种可扩展的、基于自然语言的生物启发式设计（BID）概念生成方法，利用大语言模型。
• 微调生成模型与评估器，以生成并评估具有不同程度抽象性的生物到工程类比。
• 在真实工程设计场景中验证该方法，具体针对轻型飞行汽车的概念设计。

提出的方法

• 将GPT-3微调为基础生成式预训练语言模型（PLM），以创建三种具有不同问题空间抽象层次的设计概念生成器。
• 采用分层提示策略，引导模型检索生物特征并将其映射到工程解决方案。
• 使用微调后的模型训练机器评估器，以评估生物领域与工程领域之间生成类比的相关性与质量。
• 采用少样本提示与少样本微调，提升零样本泛化能力与低资源设计场景下的类比质量。
• 将该框架应用于真实世界的轻型飞行汽车概念设计项目，评估输出的相关性与创造性。
• 通过定性评估与基线方法对比验证结果，证明其在类比相关性与多样性方面表现更优。

实验结果

研究问题

• RQ1 生成式预训练变换器（如GPT-3）能否有效生成高相关性与高多样性生物启发式设计概念？
• RQ2 问题空间表征中的不同抽象层次如何影响生成类比的质量与相关性？
• RQ3 微调后的机器评估器在多大程度上能准确评估生物与工程领域之间映射的相关性？
• RQ4 所提出的方 法能否支持真实工程设计任务，如轻型飞行汽车的概念设计？
• RQ5 在创造力与技术可行性方面，AI生成的类比与人工生成或基线方法相比表现如何？

主要发现

• 所提方法在飞行汽车设计案例研究中，通过定性评估验证了其能成功生成高相关性与高多样性的生物启发式设计概念。
• 微调后的机器评估器在类比相关性评估方面表现出强大能力，在与人类判断的对比评估中展现出高度一致性。
• 基于松散、中等与紧密问题空间表征的三级生成器架构，实现了灵活且上下文感知的概念生成。
• 该方法在生成新颖且技术上可行的类比方面优于基线方法，尤其在复杂、多领域设计问题中表现突出。
• 该框架在实际应用中表现有效，成功支持了轻型飞行汽车概念设计阶段的可操作性、生物启发式创意生成。