[論文レビュー] Automating Computational Design with Generative AI

Joern Ploennigs, Markus Berger|arXiv (Cornell University)|Jul 5, 2023

Music and Audio Processing被引用数 5

ひとこと要約

本稿では、建築における計算設計のための拡散モデルを向上させるために、意味的符号化を導入し、生成された間取り図の妥当性を向上させることを提案する。構造的な意味的プロンプトを用いてテキストから画像への拡散モデルをファインチューニングすることで、間取り図の妥当性を6%から90%まで向上させた。これは実用的なAI支援建築設計への顕著な進展を示しているが、今後のBIMネイティブな拡散モデルの必要性も浮き彫りにしている。

ABSTRACT

AI image generators based on diffusion models have recently garnered attention for their capability to create images from simple text prompts. However, for practical use in civil engineering they need to be able to create specific construction plans for given constraints. This paper investigates the potential of current AI generators in addressing such challenges, specifically for the creation of simple floor plans. We explain how the underlying diffusion-models work and propose novel refinement approaches to improve semantic encoding and generation quality. In several experiments we show that we can improve validity of generated floor plans from 6% to 90%. Based on these results we derive future research challenges considering building information modelling. With this we provide: (i) evaluation of current generative AIs; (ii) propose improved refinement approaches; (iii) evaluate them on various examples; (iv) derive future directions for diffusion models in civil engineering.

研究の動機と目的

• 設計制約下での拡散モデルが、妥当な建築間取り図を生成できる能力を評価すること。
• 特に意味的理解と構造的妥当性の観点から、現在の画像ベースの拡散モデルが計算設計において抱える制限を特定すること。
• 生成品質と妥当性を向上させるために、改善された意味的符号化技術を提案・検証すること。
• 今後の意味的認識設計自動化のための、ビルディングインフォメーションモデリング（BIM）データを拡散モデルに直接統合する可能性と要件を検討すること。
• 画像ベースからBIMネイティブな生成に移行するにあたり、土木工学分野における拡散モデルの今後の研究方向性を導き出すこと。

提案手法

• 間取り図と空間配置、部屋タイプ、接続性を記述する意味的テキストプロンプトをペアにしたカスタムデータセットを用いて、テキストから画像への拡散モデル（例：Stable Diffusion）をファインチューニングする。
• 階層的で構造化された部屋、壁、ゾーンなどの間取り図コンポーネントの記述を条件として、マルチスケールの意味的符号化を実装する。
• BIMモデルの階層的構造的関係を保持するため、階層的かつグラフベースの表現を採用する。
• 複数の解像度レベルでノイズ付加プロセスの逆方向推論を学習させ、意味的ラベルがノイズ除去段階をガイドすることで設計の妥当性を維持する。
• 定性的な評価と、間取り図の妥当性や構造的一致性といった定量的指標を用いて、モデルの性能を評価する。
• 異なる抽象度レベルでBIMモデルを表現するためのマルチレイヤーGNN（グラフニューラルネットワーク）アーキテクチャを提案し、拡散可能で意味的認識可能な生成を可能にする。

(a) Step 1

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、意味的プロンプトを用いてファインチューニングすることで、構造的に妥当かつ意味的に意味のある間取り図を効果的に生成できるか？
• RQ2 標準的なテキストプロンプトと比較して、意味的符号化は生成された間取り図の妥当性と一貫性をどの程度向上させるか？
• RQ3 現在の画像ベースの拡散モデルは、建築の計算設計において、どのような主な制限を抱えているか？
• RQ4 BIMデータは、意味的および構造的整合性を保つために、どの程度拡散モデルに統合できるか？
• RQ5 自動設計のためのBIMネイティブな拡散モデルを開発するにあたり、どのような建築的およびデータ的要件が必要か？

主な発見

• 意味的プロンプトを用いた拡散モデルのファインチューニングにより、生成された間取り図の妥当性が6%から90%まで向上した。
• 提案された意味的符号化手法は、標準的なテキストプロンプトに比べ、構造的に一貫性があり意味的に正確な間取り図の生成において顕著に優れた性能を示した。
• 現在の画像ベースの拡散モデルは意味的理解に欠け、高品質な視覚的外観を備えながらも、無意味または不正な空間配置を生成してしまう。
• 画像ベースの拡散モデルで使用するためのBIMモデルのラスタライズ処理は、意味的および階層的構造を損なうため、モデルの有効性が低下する。
• マルチスケールでグラフベースの拡散モデルアーキテクチャは、BIMの階層的性質を活かすための有望な道筋であり、より正確で意味のある設計生成が可能になる。
• 今後の研究は、意味的関係を保持し、直接的かつ構造的な設計生成を可能にするBIMネイティブな拡散モデルの開発に注力すべきである。

(b) Step 2