[論文レビュー] Conceptual Design Generation Using Large Language Models

Kevin Ma, Daniele Grandi+2 more|arXiv (Cornell University)|May 30, 2023

Design Education and Practice被引用数 5

ひとこと要約

本論文は、大規模言語モデル（LLMs）を用いた概念設計生成の利用を調査し、12の問題に対してLLMが生成した解決策とクラウドソーシングによる設計を比較している。結果として、LLMの出力はより実現可能で有用であるのに対し、クラウドソーシングのアイデアはより独創的であることが示された。少数の例を用いたプロンプト工学により、人間が生成した解決策との整合性が向上した。

ABSTRACT

Concept generation is a creative step in the conceptual design phase, where designers often turn to brainstorming, mindmapping, or crowdsourcing design ideas to complement their own knowledge of the domain. Recent advances in natural language processing (NLP) and machine learning (ML) have led to the rise of Large Language Models (LLMs) capable of generating seemingly creative outputs from textual prompts. The success of these models has led to their integration and application across a variety of domains, including art, entertainment, and other creative work. In this paper, we leverage LLMs to generate solutions for a set of 12 design problems and compare them to a baseline of crowdsourced solutions. We evaluate the differences between generated and crowdsourced design solutions through multiple perspectives, including human expert evaluations and computational metrics. Expert evaluations indicate that the LLM-generated solutions have higher average feasibility and usefulness while the crowdsourced solutions have more novelty. We experiment with prompt engineering and find that leveraging few-shot learning can lead to the generation of solutions that are more similar to the crowdsourced solutions. These findings provide insight into the quality of design solutions generated with LLMs and begins to evaluate prompt engineering techniques that could be leveraged by practitioners to generate higher-quality design solutions synergistically with LLMs.

研究の動機と目的

• 大規模言語モデル（LLMs）が概念設計タスクにおいて生成する設計解決策の質を評価すること。
• 実現可能性、有用性、独創性の観点から、LLMが生成した設計とクラウドソーシングによる解決策を比較すること。
• とりわけ、少数の例を用いたプロンプト工学が、LLMが生成する設計の質および人間が生成した解決策との類似性に与える影響を調査すること。
• 実務家がLLMと人間の入力を効果的に統合して設計イノベーションを促進するための実用的技術を提供すること。

提案手法

• 著者らは、事前に学習されたLLMを用いて12の定められた概念設計問題の解決策を生成した。
• 比較のためのベースラインとして、クラウドソーシング参加者から得た解決策のセットを収集した。
• 設計の実現可能性と有用性を評価するために、人間の専門家による評価を実施した。
• 独創性は、意味的多様性と設計概念の独自性を含む計算的指標を用いて測定した。
• 特に、少数の例を用いたプロンプト工学を適用し、LLMがクラウドソーシングの出力に類似した解決策を生成するように誘導した。
• 解決策の質を評価するために、定性的な専門家判断と定量的な計算的指標の両方の視点を用いた。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成した設計解決策は、クラウドソーシングによる解決策と比べて、実現可能性と有用性においてどのように異なるか？
• RQ2 LLMが生成した解決策は、人間が生成した設計と比べて、どの程度独創的であるか？
• RQ3 少々の例を用いたプロンプト工学のようなプロンプト工学技術は、LLMが生成する解決策の質および人間らしい類似性を向上させることができるか？
• RQ4 設計品質の異なる次元において、LLMとクラウドソーシングの相対的な強みは何か？

主な発見

• LLMが生成した解決策は、専門家による評価において、クラウドソーシングの解決策よりも平均的に高い実現可能性と有用性を示した。
• 人間と計算的指標の両方の観点から、クラウドソーシングの解決策はLLMが生成した設計よりも顕著に独創的であると評価された。
• 少数の例を用いたプロンプト処理の適用により、LLMが生成した設計は構造的および概念的アプローチにおいて、クラウドソーシングの解決策に類似するようになった。
• 独創性が低いにもかかわらず、LLMが生成した設計は、分野の専門家から、より実用的で実装可能であると一貫して評価された。
• プロンプト工学をLLMと統合することで、実務家はモデルの出力を、より高品質で文脈に即した設計概念へと導くことが可能になった。
• 本研究は、構造的なプロンプト設計と多次元的評価フレームワークを用いた、LLMベースの設計生成の評価と改善の基盤を確立した。