[論文レビュー] Generative AI Models for Different Steps in Architectural Design: A Literature Review

Chengyuan Li, Tianyu Zhang+3 more|arXiv (Cornell University)|Mar 30, 2024

Architecture and Computational Design被引用数 9

ひとこと要約

拡散モデル、3D生成モデル、ファウンデーションモデルを含む生成的AIが、2020–2023の6つの建築設計ステップにどのように適用されているかを調査する文献レビュー。

ABSTRACT

Recent advances in generative artificial intelligence (AI) technologies have been significantly driven by models such as generative adversarial networks (GANs), variational autoencoders (VAEs), and denoising diffusion probabilistic models (DDPMs). Although architects recognize the potential of generative AI in design, personal barriers often restrict their access to the latest technological developments, thereby causing the application of generative AI in architectural design to lag behind. Therefore, it is essential to comprehend the principles and advancements of generative AI models and analyze their relevance in architecture applications. This paper first provides an overview of generative AI technologies, with a focus on probabilistic diffusion models (DDPMs), 3D generative models, and foundation models, highlighting their recent developments and main application scenarios. Then, the paper explains how the abovementioned models could be utilized in architecture. We subdivide the architectural design process into six steps and review related research projects in each step from 2020 to the present. Lastly, this paper discusses potential future directions for applying generative AI in the architectural design steps. This research can help architects quickly understand the development and latest progress of generative AI and contribute to the further development of intelligent architecture.

研究の動機と目的

• 生成的AI技術が、初期段階の3D形状、レイアウト、構造系、3D形状の精緻化、ファサード、イメージなど、異なる建築設計ステップでどのように適用されるかを探る。
• 2020年から2023年にかけて、建築分野におけるAIモデルの使用の推移と傾向を分析する。
• 高度な生成モデルの建築分野への広範な適用を妨げる障壁、データ要件、学際的ギャップを特定する。
• 建築に関連する基礎的AI概念（GAN、VAE、拡散モデル、3D表現、NeRF、ファウンデーションモデル）とそれらの建築応用を要約する。
• 建築実務における生成的AIの今後の研究方向と実践的統合を提案する。

提案手法

• Cumincad や Web of Science などのデータベースを用い、2020–2023年の文献を調査し、Litmaps で補足する。
• 建築設計の6つのステップを軸に、AIの適用を設計出力と結びつける構造化分析。
• GAN、VAE、拡散モデル、潜在拡散モデル、ボクセル・点群・メッシュなどの3D表現、陰関数（implicit functions）を含む主要な生成AI原理の説明。
• 大規模言語モデル（LLMs）や大規模視覚モデル（Large Vision Models）を含むファウンデーションモデルと、それらの建築への関連性についての議論。
• 画像、動画、3Dモデル生成における応用の提示、代表的手法（例：CGANs、pix2pix、DDPM、LDM、NeRF、DreamFusion、DreamCraft3D、CLIP-NeRF）を含む。
• 初期3D形状設計へのAIの実践的統合を示す建築ケーススタディ（Bo-DAA アパート）を illustrating。

Figure 1 : Examples of architecture design using generative AI techniques: (a) church design [ 1 ] ; (b) matrix of cuboid shapes [ 2 ] ; (c) Frank Gehry’s Walt Disney concert hall [ 3 ] ; (d) Bangkok urban design [ 4 ] ; (e) foresting architecture [ 4 ] ; (f) Urban interiors [ 4 ] and (g) text-to-ar

実験結果

リサーチクエスチョン

• RQ1 生成的AI技術は6つの建築設計ステップのそれぞれでどのように貢献するか？
• RQ2 どのモデルファミリ（GAN/VAEs/拡散/3Dモデル/ファウンデーションモデル）が2D/3Dの建築出力に対して最も効果的で、理由は何か？
• RQ3 建築実務における普及を妨げる主な専門的障壁とデータ関連の課題は何か？
• RQ4 建築における生成的AIの統合を進展させる今後の方向性と研究経路は何か？

主な発見

• 建築における生成的AIの研究成果は2020–2023年に著しく増加し、ほとんどが建築計画・設計（レイアウト）に集中している。
• GANとVAEは依然として広く用いられており、拡散モデル（DDPM、LDM）と3D生成モデルの統合が進み、特に高品質な2D/3D出力に向けて増えている。
• 探索された3D表現にはボクセル、ポイントクラウド、メッシュ、暗黙的関数（SDF/UDF/NeRF）が含まれ、拡散ベースおよびニューラル内部関数法が3D生成を強化している。
• ファウンデーションモデル（LLMsと大型視覚モデル）は、テキストから画像へ、画像からテキストへ、クロスモーダル機能を実現し、建築ワークフローを支援する。
• 適用は画像生成、動画生成、3Dモデル生成に及び、テキストから3Dや画像から3Dのパイプラインを含み、しばしば複数段階の精練プロセスを伴う。
• 課題には建築と計算機科学の専門的障壁、建築データの非構造性やGPUリソース要件などのデータ関連問題が含まれる。

Figure 2 : Overview of generative AI applications in architectural design: statistics on research paper numbers and generative models.