[논문 리뷰] Conceptual Design Generation Using Large Language Models

Kevin Ma, Daniele Grandi외 2명|arXiv (Cornell University)|2023. 05. 30.

Design Education and Practice인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 개념 설계 생성에 어떻게 사용되는지 조사하며, 12개의 문제에 대해 LLM이 생성한 솔루션과 커뮤니티 기반 설계를 비교한다. 결과적으로 LLM 출력물은 더 타당하고 유용한 것으로 나타났고, 커뮤니티 기반 아이디어는 더 새로운 것으로 평가되었다. 소수 샘플 학습을 활용한 프롬프트 엔지니어링은 인간이 생성한 솔루션과의 유사도를 향상시켰다.

ABSTRACT

Concept generation is a creative step in the conceptual design phase, where designers often turn to brainstorming, mindmapping, or crowdsourcing design ideas to complement their own knowledge of the domain. Recent advances in natural language processing (NLP) and machine learning (ML) have led to the rise of Large Language Models (LLMs) capable of generating seemingly creative outputs from textual prompts. The success of these models has led to their integration and application across a variety of domains, including art, entertainment, and other creative work. In this paper, we leverage LLMs to generate solutions for a set of 12 design problems and compare them to a baseline of crowdsourced solutions. We evaluate the differences between generated and crowdsourced design solutions through multiple perspectives, including human expert evaluations and computational metrics. Expert evaluations indicate that the LLM-generated solutions have higher average feasibility and usefulness while the crowdsourced solutions have more novelty. We experiment with prompt engineering and find that leveraging few-shot learning can lead to the generation of solutions that are more similar to the crowdsourced solutions. These findings provide insight into the quality of design solutions generated with LLMs and begins to evaluate prompt engineering techniques that could be leveraged by practitioners to generate higher-quality design solutions synergistically with LLMs.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 개념 설계 과제에서 생성하는 설계 솔루션의 품질을 평가하기.
• 타당성, 유용성, 그리고 신선도 측면에서 LLM이 생성한 설계와 커뮤니티 기반 솔루션을 비교하기.
• 특히 소수 샘플 학습을 포함한 프롬프트 엔지니어링의 영향을 분석하여 LLM이 생성한 설계의 품질과 인간이 생성한 설계와의 유사도 향상 여부를 조사하기.
• 실무자들이 설계 혁신 과정에서 LLM과 인간의 입력을 유기적으로 융합할 수 있도록 실용적인 기법을 제공하기.

제안 방법

• 저자는 사전 훈련된 LLM을 사용하여 12개의 정의된 개념 설계 과제에 대해 설계 솔루션을 생성하였다.
• 비교를 위한 기준 집합으로 커뮤니티 참여자들로부터 수집한 솔루션을 확보하였다.
• 설계의 타당성과 유용성을 평가하기 위해 도메인 전문가 평가를 실시하였다.
• 신선도는 의미적 다양성과 설계 개념의 유일성과 같은 계산 기반 지표를 사용하여 측정하였다.
• LLM이 커뮤니티 기반 출력물과 더 유사한 방식으로 설계를 생성하도록 유도하기 위해 프롬프트 엔지니어링 기법, 특히 소수 샘플 프롬프팅을 적용하였다.
• 설계 품질 평가를 위해 정성적 전문가 판단과 정량적 계산 기반 지표를 병행하여 다각도로 평가하였다.

실험 결과

연구 질문

• RQ1 LLM이 생성한 설계 솔루션은 타당성과 유용성 측면에서 커뮤니티 기반 솔루션과 비교해 어떻게 다른가?
• RQ2 LLM이 생성한 설계는 인간이 생성한 설계와 비교해 어느 정도의 창의성(신선도)를 보이는가?
• RQ3 소수 샘플 학습과 같은 프롬프트 엔지니어링 기법을 통해 LLM이 생성한 설계의 품질과 인간 유사성은 향상될 수 있는가?
• RQ4 설계 품질의 다양한 차원에서 LLM과 커뮤니티 기반 설계의 상대적 강점은 무엇인가?

주요 결과

• 전문가 평가 결과, LLM이 생성한 솔루션은 커뮤니티 기반 솔루션보다 평균적으로 더 높은 타당성과 유용성을 보였다.
• 인간 평가자와 계산 기반 지표 모두에서 커뮤니티 기반 솔루션이 LLM이 생성한 설계보다 유의미하게 더 높은 창의성을 보였다.
• 소수 샘플 프롬프팅을 사용함으로써 LLM이 생성한 설계는 커뮤니티 기반 솔루션과의 구조적 유사성과 개념적 접근 방식에서 유사성이 높아졌다.
• 낮은 창의성에도 불구하고, 도메인 전문가들은 LLM이 생성한 설계가 더 실용적이고 구현 가능하다고 일관되게 평가했다.
• 프롬프트 엔지니어링을 LLM과 융합함으로써 실무자들은 모델 출력물을 더 높은 품질의, 더 맥락에 맞는 설계 개념으로 유도할 수 있다.
• 이 연구는 체계적인 프롬프트 설계와 다차원 평가 프레임워크를 통해 LLM 기반 설계 생성의 평가 및 향상 기반을 마련하였다.