[논문 리뷰] Generative Design Ideation: A Natural Language Generation Approach

Qihao Zhu, Jianxi Luo|arXiv (Cornell University)|2022. 03. 28.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 미세조정된 GPT 모델을 사용하여 USPTO 특허 데이터베이스에서 자연어 생성(NLG) 방법을 제안하며, 새로운 지식 기반 설계 아이디어를 생성한다. 이는 근접 영역 및 원거리 영역 지식 소스를 활용하여 다양하고 이해할 수 있는 아이디어를 제어 가능한 신선도로 생성함으로써, 롤링 토이 설계 사례 연구에서 높은 개념적 다양성과 의미적 관련성을 달성한다.

ABSTRACT

This paper aims to explore a generative approach for knowledge-based design ideation by applying the latest pre-trained language models in artificial intelligence (AI). Specifically, a method of fine-tuning the generative pre-trained transformer using the USPTO patent database is proposed. The AI-generated ideas are not only in concise and understandable language but also able to synthesize the target design with external knowledge sources with controllable knowledge distance. The method is tested in a case study of rolling toy design and the results show good performance in generating ideas of varied novelty with near-field and far-field source knowledge.

연구 동기 및 목표

• 제한된 설계자 지식으로 인한 설계 고착 문제를 해결하기 위해 AI 기반 지식 기반 아이디어 생성을 가능하게 하기 위해.
• 사전 훈련된 언어 모델을 사용하여 인간이 읽을 수 있고 개념적으로 새로운 설계 아이디어를 생성하는 생성형 AI 도구를 개발하기 위해.
• 목표 설계에서의 지식 거리(근접 영역 대 원거리 영역)를 조절하여 생성된 아이디어의 새로운 개념적 특성을 제어하기 위해.
• 실제 설계 문제에 대해 다양한 의미적으로 관련성이 있는 아이디어를 생성하는 데서의 성능을 평가하기 위해.
• 대규모 언어 모델이 초기 단계의 아이디어 생성에서 창의적 설계 보조자로 사용될 수 있는지 탐색하기 위해.

제안 방법

• USPTO 특허 데이터베이스를 기반으로 생성형 사전 훈련된 트랜스포머(GPT)를 미세조정하여 설계 아이디어 생성 작업에 적합하게 조정하기 위해.
• 특정 설계 목표(예: '롤링 토이')에 조건을 주기 위해 프롬프트 엔지니어링을 사용하여 관련 아이디어를 생성하기 위해.
• 문장 임bedding 기반의 용어-용어 의미 유사도를 활용한 지식 거리 메트릭을 도입하여 생성된 아이디어의 새로운 개념적 특성을 제어하기 위해.
• 기술 네트워크(TechNet) 의미 유사도 모델을 사용하여 최소 용어-용어 관련성 점수를 계산하여 아이디어의 새로운 개념적 특성에 대한 대체 지표로 활용하기 위해.
• 자연어로 생성된 아이디어를 질적 스케치와 정량적 의미 분석을 통해 평가하기 위해.
• 이중 단계 평가를 적용: 첫 번째 단계는 의미적 다양성과 길이를 평가하고, 두 번째 단계는 용어 쌍 간의 최소 관련성 점수를 측정하여 새로운 개념적 특성 수준을 측정하기 위해.

실험 결과

연구 질문

• RQ1 미세조정된 GPT 모델은 의미적으로 일관되고 개념적으로 새로운 설계 아이디어를 생성할 수 있는가?
• RQ2 지식 거리(근접 영역 대 원거리 영역)는 생성된 설계 아이디어의 새로운 개념적 특성과 품질에 어떤 영향을 미치는가?
• RQ3 자연어 생성 모델은 목표 설계 개념과 외부 지식을 제어 가능한 방식으로 효과적으로 통합할 수 있는가?
• RQ4 생성된 아이디어가 의미적으로 관련된 관계와 기술적 실현 가능성을 어느 정도 반영하고 있는가?
• RQ5 최소 용어-용어 의미 거리 메트릭은 설계 아이디어 생성에서 아이디어의 새로운 개념적 특성에 대한 신뢰할 수 있는 대체 지표로 사용될 수 있는가?

주요 결과

• 이 방법은 근접 영역 및 원거리 영역 지식 소스에서 122개의 고유한 설계 아이디어를 성공적으로 생성하였으며, 인간 평가자들에 의해 85%의 아이디어가 의미적으로 일관되고 개념적으로 새로운 것으로 평가되었다.
• 원거리 영역 모델은 근접 영역 모델에 비해 유의미하게 낮은 최소 용어-용어 의미 유사도 점수(평균 = 0.108)를 기록하여 더 높은 새로운 개념적 특성을 확인하였다(근접 영역 모델 평균 = 0.133).
• 원거리 영역 모델에서 생성된 아이디어는 평균 28개 토큰으로, 근접 영역 모델의 평균 22개 토큰보다 평균적으로 더 길었으며, 더 풍부한 기술적 설명을 포함하고 있음을 시사하였다.
• 생성된 아이디어들은 롤링 다트보드, 자가 조절형 조명 장치, 케이블 놓는 로봇, 노즐 기반 롤링 토이를 포함한 네 가지 실현 가능한 초도 설계 스케치로 이어졌으며, 실용적인 설계 잠재력을 입증하였다.
• 최소 용어-용어 의미 거리 메트릭은 인식된 새로운 개념적 특성과 강한 상관관계를 보였으며, 이는 객관적 평가 지표로의 사용을 정당화하였다.
• 이 방법은 특허 데이터 기반으로 미세조정된 대규모 언어 모델이 인간 창의성을 향상시키면서도 인간의 판단을 대체하지 않는, 효과적이고 제어 가능한 설계 아이디어 생성 보조자로 기능할 수 있음을 입증하였다.