[論文レビュー] Generative Pre-Trained Transformer for Design Concept Generation: An Exploration

Qihao Zhu, Jianxi Luo|arXiv (Cornell University)|Nov 16, 2021

Design Education and Practice被引用数 8

ひとこと要約

本稿では、初期段階のデザインイノベーションにおける自然言語ベースのデザインコンセプト生成に、生成的事前学習トランスフォーマー（GPT-2およびGPT-3）の使用を検討する。少数-shotプロンプティングとカスタムデータセットを活用することで、微調整なしに、問題駆動型および類似性駆動型の推論を用いて、革新的で概念的に整合性のあるデザインアイデアを効果的に生成するGPTモデルの性能が示された。

ABSTRACT

Novel concepts are essential for design innovation and can be generated with the aid of data stimuli and computers. However, current generative design algorithms focus on diagrammatic or spatial concepts that are either too abstract to understand or too detailed for early phase design exploration. This paper explores the uses of generative pre-trained transformers (GPT) for natural language design concept generation. Our experiments involve the use of GPT-2 and GPT-3 for different creative reasonings in design tasks. Both show reasonably good performance for verbal design concept generation.

研究の動機と目的

• 生成的事前学習トランスフォーマー（GPT）を用いた、初期デザイン段階における自動的 verbal デザインコンセプト生成の可能性を調査すること。
• ガイダンスや刺激に基づくツールとは異なり、完全に自動化された生成的アプローチを導入することで、コンピュータ支援的アイデーションにおけるギャップを埋めること。
• 微調整なしに、文化的に隔たりのある領域（例：ランタン、折り紙）と技術的領域（例：ドローン）との間で類似性推論を実行できるかどうかを評価すること。
• デコードハイパーパramータ（温度、top-p、ペナルティ）が生成されたコンセプトの新規性および反復性に与える影響を評価すること。
• 大規模な生成から低品質な出力をフィルタリングするための自動的コンセプト評価ツールの必要性を特定すること。

提案手法

• GPT-2およびGPT-3を、膨大なテキストコーパスで事前学習されたゼロショットまたは少数ショット言語モデルとして、デザインコンセプト生成に活用した。
• 類似性推論を誘導するため、ソースドメイン（例：ランタン、折り紙）およびターゲットドメイン（例：ドローン）を含む構造化された入力を含むカスタムプロンプトを設計した。
• 多様性と新規性を制御するため、温度（0.85）、top-p（1）、存在/頻度ペナルティ（0.5）などのデコードハイパーパramータを適用した。
• 微調整なしに、例示入力を用いて望ましい推論パターンを引き出す少数ショットプロンプティングにより、デザインコンセプトを生成した。
• 出力結果を定性的および定量的に評価し、さまざまなプロンプティング戦略およびハイパーパramータ設定における性能を比較した。
• 将来的な強化として、知識グラフやデザインヒューリスティクス（例：TRIZ、77のヒューリスティクス）を統合し、コンセプトの関連性および多様性を向上させる可能性を検討した。

実験結果

リサーチクエスチョン

• RQ1 GPTモデルは、微調整なしに、自然言語で新規かつ概念的に妥当なデザインコンセプトを生成できるか？
• RQ2 GPT-2およびGPT-3は、デザインコンセプト生成における問題駆動型推論においてどの程度効果的か？
• RQ3 GPTモデルは、文化的に隔たりのあるあるいは関連のないドメインと技術的デザイン問題との間で、どの程度類似性駆動型推論を実行できるか？
• RQ4 デコードハイパーパramータは、生成されたデザインコンセプトの新規性および多様性にどのように影響するか？
• RQ5 自動評価ツールは、大規模なGPTベースのコンセプト生成から低品質な出力をフィルタリングするうえで、どのような役割を果たせるか？

主な発見

• GPT-3は、ランタンおよび折り紙のドメインからの類似性を用いて、微調整なしに2つの異なる概念的に整合性のあるドローンデザインコンセプトを生成し、類似性マッピングが効果的に行われたことを示した。
• GPT-3は、ランタンの照明機能と折り紙の折りたたみ機構をドローン設計に応用し、D-LIGHTやAerobowlといった新規なコンセプトを生み出した。
• 高いデコード温度および存在/頻度ペナルティは、反復を減少させ、新規性を向上させた。これは、ハイパーパramータのチューニングがコンセプトの多様性を向上させることを示している。
• GPT-2とGPT-3は異なる挙動を示した。GPT-3は、最小限のプロンプトで新規なコンセプトを生成する能力に優れていたが、GPT-2は例示入力の繰り返しにかかりやすかった。
• モデルのパフォーマンスは、プロンプト工学の質に大きく依存しており、少数ショットの例示が、事前学習された重みから関連知識を効果的に引き出すことができた。
• 強力な定性的な出力にもかかわらず、本研究は、低品質または関連のない結果が存在するため、大規模な生成から出力をフィルタリングするための自動評価ツールの必要性を認識している。