[論文レビュー] AI Art in Architecture

Joern Ploennigs, Markus Berger|arXiv (Cornell University)|Dec 19, 2022

Aesthetic Perception and Analysis被引用数 15

ひとこと要約

この論文は、建築設計におけるアイデーション、スケッチ、モデリングのタスクを対象に、Midjourney、DALL-E 2、StableDiffusion の3つの拡散型AIアートプラットフォームの性能を評価している。4000万件のMidjourneyクエリの自然言語処理（NLP）分析と事例研究を組み合わせた手法により、プラットフォーム固有の強みを特定し、各ツールの出力品質とプロンプト感受性の特徴を活かした実用的でハイブリッドなワークフローを提案している。

ABSTRACT

Recent diffusion-based AI art platforms are able to create impressive images from simple text descriptions. This makes them powerful tools for concept design in any discipline that requires creativity in visual design tasks. This is also true for early stages of architectural design with multiple stages of ideation, sketching and modelling. In this paper, we investigate how applicable diffusion-based models already are to these tasks. We research the applicability of the platforms Midjourney, DALL-E 2 and StableDiffusion to a series of common use cases in architectural design to determine which are already solvable or might soon be. We also analyze how they are already being used by analyzing a data set of 40 million Midjourney queries with NLP methods to extract common usage patterns. With this insights we derived a workflow to interior and exterior design that combines the strengths of the individual platforms.

研究の動機と目的

• 主なAIアートプラットフォーム（Midjourney、DALL-E 2、StableDiffusion）が、現在どの程度建築設計タスクに適応可能であるかを評価すること。
• 自然言語処理（NLP）手法を用いて4000万件の公開Midjourneyクエリを分析することで、実際の使用状況のパターンを理解すること。
• 現在の段階で実現可能な建築設計ユースケースと、将来のモデル改善によって実現可能になる可能性があるユースケースを特定すること。
• 各AIモデルの強みを最大限に活かした、実用的でプラットフォーム最適化されたワークフローを構築し、建築ビジュアライゼーションとアイデーションに活用すること。
• 現在のAIモデルが、床図や空間配置といった意味的建築コンテンツをどれだけ適切に処理できるかの限界を明らかにし、BIMデータに基づく意味的認識訓練の必要性を特定すること。

提案手法

• 建築設計の代表的ユースケースを対象に、Midjourney、DALL-E 2、StableDiffusion の3つの主要なAI画像生成プラットフォームを定性的に評価した。
• 4000万件の公開Midjourneyクエリのデータセットを用いて自然言語処理（NLP）分析を実施し、一般的な建築プロンプト、使用パターン、クエリの成功確率を抽出した。
• 各プラットフォームの強みを組み合わせたハイブリッドワークフローを開発・テストした：Midjourneyは高視覚的フィデリティのコンセプトアート生成に、DALL-E 2は正確なテキストから画像への対応に、StableDiffusionはインpaintingや画像編集による細かい制御に活用した。
• 初期のテキストプロンプトに基づき、画像から画像（img2img）、インpainting、アウトペイント（outpainting）技術を用いて、建築的コンセプトを洗練・拡張した。
• 拡散モデルの原理（CLIPベースのテキストエンコーディングを用いた前向き・逆向きの拡散プロセス）を応用し、モデルの挙動と出力の一貫性を理解した。
• 床図、ファサードデザイン、複雑な空間配置を含む事例研究を通じてモデルの性能を評価し、失敗モードや限界を同定した。

実験結果

リサーチクエスチョン

• RQ1 拡散型AIアートプラットフォームは、現在どの建築設計タスクを効果的にサポートできるか？
• RQ2 実際のユーザーは、建築的コンテンツを生成するためにAIアートプラットフォームにどのようにクエリを送信しているのか？また、大規模な使用データからどのような言語的パターンが浮き彫りになるか？
• RQ3 Midjourney、DALL-E 2、StableDiffusion は、建築的に意味のある画像を生成する上で、それぞれどのような主な強みと限界を示しているか？
• RQ4 AI生成画像は、スケッチやコンセプトモデリングを含む建築の初期段階のアイデーションをどの程度支援できるか？
• RQ5 AI生成建築画像における主な失敗モードは何か？また、それらは現在のモデルにおける意味的理解の欠如とどのように関連しているか？

主な発見

• 4000万件のMidjourneyクエリに対するNLP分析から、建築的プロンプトはしばしばスタイル、素材、空間的特徴を含む構造的フレームワークで構成されており、満足のいく結果を得るには平均して3～5回の反復が必要であることが判明した。
• Midjourneyは、特に外装・インテリアのコンセプトアート分野で、高品質で一貫性のあるスタイルの建築レイトレーショングを生成する点で優れているが、正確な意味的レイアウト表現には苦労している。
• DALL-E 2は、テキストプロンプトと画像出力の間の整合性が非常に高く、たとえば「時計のガゼボ」や「ボウウィンドウ」のような複雑な建築用語に対しても的確に反応するが、空間的関係を誤解する場合もある。
• StableDiffusionは、インpainting やアウトペイントによる反復的フィードバックが可能で、既存の建築的コンセプトの修正や拡張に最も適している。
• 一般的な失敗事例には、床図の誤解（例：線を装飾的要素と誤認）、オブジェクト数の誤認（例：5軒の建物を誤って認識）、空間配置の不整合が含まれる。
• 本研究は、現在のAIモデルが視覚的アイデーションを著しく加速できることを確認したが、ドアが部屋をつなぐ、構造的論理といった建築的意味の理解には欠けていることを示しており、将来的にはBIMデータに基づく意味的認識訓練が不可欠であると結論づけた。