[논문 리뷰] Generative Pre-Trained Transformer for Design Concept Generation: An Exploration

Qihao Zhu, Jianxi Luo|arXiv (Cornell University)|2021. 11. 16.

Design Education and Practice인용 수 8

한 줄 요약

이 논문은 초기 단계의 디자인 혁신에서 자연어 기반의 설계 개념 생성을 위해 생성형 사전 훈련된 트랜스포머(GPT-2 및 GPT-3)의 사용을 탐구한다. 적은 수의 프롬프트를 사용하고 맞춤형 데이터셋을 활용함으로써, GPT 모델은 피드백 없는 훈련 없이도 문제 중심 및 비유 기반 추론을 통해 새로운 개념적으로 타당한 설계 아이디어를 성공적으로 생성한다. 이는 훈련 없이도 뛰어난 성능을 보여준다.

ABSTRACT

Novel concepts are essential for design innovation and can be generated with the aid of data stimuli and computers. However, current generative design algorithms focus on diagrammatic or spatial concepts that are either too abstract to understand or too detailed for early phase design exploration. This paper explores the uses of generative pre-trained transformers (GPT) for natural language design concept generation. Our experiments involve the use of GPT-2 and GPT-3 for different creative reasonings in design tasks. Both show reasonably good performance for verbal design concept generation.

연구 동기 및 목표

• 생성형 사전 훈련된 트랜스포머(GPT)를 사용하여 초기 설계 단계에서 자동으로 언어 기반의 설계 개념을 생성하는 것이 가능한지 탐구하는 것.
• 가이드라인 또는 자극 기반 도구와는 다름없이 완전히 자동화된 생성 기반 접근 방식을 도입함으로써 컴퓨터 지원 창의적 아이디어 도출의 격차를 메우는 것.
• GPT 모델이 피드백 없는 훈련 없이도 문화적으로 거리가 먼 또는 관련이 없는 도메인(예: 램프, 오리지널리)과 기술적 도메인(예: 드론) 사이에서 비유적 추론을 수행할 수 있는지 평가하는 것.
• 디코딩 초모수(온도, top-p, 페널티)가 생성된 개념의 신선도와 반복성에 미치는 영향을 평가하는 것.
• 대규모 생성에서 저품질 출력을 걸러내기 위한 자동 개념 평가 도구의 필요성을 규명하는 것.

제안 방법

• GPT-2 및 GPT-3를 자연어 기반의 설계 개념 생성을 위해 제로샷 또는 피셔샷 언어 모델로 활용하며, 광범위한 텍스트 코퍼스에 대한 사전 훈련을 기반으로 한다.
• 원천 도메인(예: 램프, 오리지널리)과 대상 도메인(예: 드론)을 포함한 구조화된 입력을 갖춘 맞춤형 프롬프트를 설계하여 비유적 추론을 유도한다.
• 다양성과 신선도를 제어하기 위해 온도(0.85), top-p(1), 존재/빈도 페널티(0.5)와 같은 디코딩 초모수를 적용한다.
• 피셔샷 프롬프팅을 통해 모델의 훈련 없이도 예시 입력을 사용하여 원하는 추론 패턴을 유도함으로써 설계 개념을 생성한다.
• 모델 출력을 정성적 및 정량적으로 평가하며, 다양한 프롬프팅 전략과 초모수 설정 간의 성능을 비교한다.
• 향후 개념의 관련성과 다양성을 향상시키기 위해 지식 그래프 및 설계 힌트(예: TRIZ, 77가지 힌트)를 통합할 수 있음을 고려한다.

실험 결과

연구 질문

• RQ1 GPT 모델은 피드백 없는 훈련 없이도 자연어로 새로운 개념적으로 타당한 설계 개념을 생성할 수 있는가?
• RQ2 GPT-2 및 GPT-3는 설계 개념 생성을 위한 문제 중심 추론에서 얼마나 효과적인가?
• RQ3 GPT 모델은 문화적으로 거리가 먼 또는 관련이 없는 도메인과 기술적 설계 문제 사이에서 비유 기반 추론을 어느 정도 수행할 수 있는가?
• RQ4 디코딩 초모수는 생성된 설계 개념의 신선도와 다양성에 어떤 영향을 미치는가?
• RQ5 자동 평가 도구는 대규모 GPT 기반의 개념 생성에서 저품질 출력을 걸러내는 데 어떤 역할을 할 수 있는가?

주요 결과

• GPT-3는 피드백 없는 훈련 없이도 램프와 오리지널리 도메인에서 유추한 비유를 바탕으로 두 가지 서로 다른 개념적으로 타당한 드론 설계 개념을 생성하여, 비유적 매핑이 효과적으로 이루어졌음을 보여주었다.
• GPT-3는 램프의 조명 기능과 오리지널리의 접기 메커니즘을 드론 설계에 성공적으로 적용하여 D-LIGHT 및 Aerobowl와 같은 새로운 개념을 생성하였다.
• 높은 디코딩 온도와 존재/빈도 페널티는 반복을 줄이고 신선도를 증가시켜 초모수 조정이 개념 다양성 향상에 기여함을 시사하였다.
• GPT-2와 GPT-3는 서로 다른 행동을 보였다: GPT-3는 최소한의 프롬프트로도 더 뛰어난 새로운 개념을 생성하는 데 능했고, GPT-2는 예시 입력을 반복하는 경향이 더 높았다.
• 모델의 성능는 프롬프트 엔지니어링의 질에 크게 의존하였으며, 피셔샷 예시가 사전 훈련된 가중치로부터 관련 지식을 효과적으로 유도하였다.
• 강력한 정성적 출력에도 불구하고, 본 연구는 저품질 또는 관련 없는 결과가 존재하므로 대규모 생성에서 생성된 개념을 걸러내기 위한 자동 평가 도구의 필요성을 인정한다.