[論文レビュー] Architext: Language-Driven Generative Architecture Design

Theodoros Galanos, Antonios Liapis+1 more|arXiv (Cornell University)|Mar 13, 2023

BIM and Construction Integration被引用数 4

ひとこと要約

Architextは、自然言語プロンプトのみから有効で多様な住宅用床図を生成する、言語駆動型の生成設計システムを導入する。この手法は、最大のGPT-Jモデルを用いることで、レイアウトの有効性がほぼ100%に達し、意味的正確性が最大83%に達する。これは、LLMが視覚的入力なしに、意味的監視のみで建築幾何学を効果的に学習できることを示している。

ABSTRACT

Architectural design is a highly complex practice that involves a wide diversity of disciplines, technologies, proprietary design software, expertise, and an almost infinite number of constraints, across a vast array of design tasks. Enabling intuitive, accessible, and scalable design processes is an important step towards performance-driven and sustainable design for all. To that end, we introduce Architext, a novel semantic generation assistive tool. Architext enables design generation with only natural language prompts, given to large-scale Language Models, as input. We conduct a thorough quantitative evaluation of Architext's downstream task performance, focusing on semantic accuracy and diversity for a number of pre-trained language models ranging from 120 million to 6 billion parameters. Architext models are able to learn the specific design task, generating valid residential layouts at a near 100% rate. Accuracy shows great improvement when scaling the models, with the largest model (GPT-J) yielding impressive accuracy ranging between 25% to over 80% for different prompt categories. We open source the finetuned Architext models and our synthetic dataset, hoping to inspire experimentation in this exciting area of design research.

研究の動機と目的

• 自然言語プロンプトのみを用いて、言語駆動型の生成設計を可能にする柔軟でオープンソースのシステムを開発すること。
• 微調整済みの大規模言語モデル（LLM）が視覚的入力なしに、有効で意味的に正確な住宅用床図を生成できる能力を評価すること。
• モデルサイズとアーキテクチャが、建築生成における意味的正確性と設計の多様性に与える影響を調査すること。
• 生成的設計分野の研究を前進させるために、公開可能な合成データセット（アノテート済みの床図）と微調整済みLLMを提供すること。
• LLMが、パフォーマンス駆動型および持続可能な建築設計ワークフローにおいて、スケーラブルでアクセス可能で直感的なツールとしての可能性を検討すること。

提案手法

• 住宅用床図とその空間的・幾何的性質に関する自然言語記述をペアにした合成データセットを用いて、120M～6Bパラメータの範囲の事前学習済み言語モデルを微調整する。
• 空間的関係性と部屋の配置を符号化する、意味的でテキストベースの幾何表現を建築レイアウトに用いる。
• 自己回帰的言語モデルを用いて、入力プロンプトに条件づけられた床図記述を生成する。順次的なトークン出力を予測する。
• 生成されたテキストを元に戻して幾何的レイアウトに変換し、構造的有効性と入力プロンプトとの意味的整合性を検証することで、モデル出力を評価する。
• さまざまな設計制約と意図のカテゴリをカバーするため、56種類の自然言語プロンプトを用いて汎化性能をテストする。
• GPT-Jやその小規模バージョンなどの既存のLLMを活用し、性能と多様性に与えるスケーラビリティの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 微調整済みの大規模言語モデルは、自然言語プロンプトのみを用いて、有効で意味的に正確な住宅用床図を生成できるか？
• RQ2 モデルサイズは、生成された建築レイアウトの意味的正確性と多様性にどのように影響するか？
• RQ3 LLMは、視覚的入力なしに意味的監視のみで、建築設計ルールをどれほど学習し、一般化できるか？
• RQ4 自然言語で表現されたさまざまな種類の設計制約において、LLMのパフォーマンスはどのように変動するか？
• RQ5 合成的で意味的アノテート済みのデータセットは、建築レイアウト生成におけるゼロショットまたはフェイントショットの一般化を効果的に可能にするか？

主な発見

• 微調整済みのすべてのモデルが、99%以上のレイアウト有効性率を達成しており、構造的に整合性のある住宅用床図の生成において高い頑健性を示している。
• 最大のモデル、GPT-J（6Bパラメータ）は、異なるプロンプトカテゴリにおいて25%から80%以上の意味的正確性スコアを達成し、最高で83%に達した。
• モデルスケーリングに伴い意味的正確性が顕著に向上し、モデル容量と建築設計生成におけるパフォーマンスの間には明確な相関関係があることが示された。
• システムは、全56のテストプロンプトにおいて、多様で有効なレイアウトを成功裏に生成した。これは、言語のみによる生成が建築設計に実現可能であることを確認した。
• 合成データセットと微調整済みモデルのオープンソース化により、意味的生成設計分野における再現可能性とさらなる研究が可能になった。
• 結果から、LLMは、特にQuality Diversity最適化のような反復的ワークフローに統合された場合、強力でスケーラブルかつアクセス可能な設計探索の生成ツールとして機能できる可能性がある。