[論文レビュー] Text Semantics to Image Generation: A method of building facades design base on Stable Diffusion model

Haoran Ma|arXiv (Cornell University)|Feb 23, 2023

Image Retrieval and Classification Techniques被引用数 6

ひとこと要約

本稿では、LoRA微調整を施した Stable Diffusion と ControlNet を用いたマルチネットワーク型テキストからファサード画像を生成する手法を提案する。この手法により、微調整コストが顕著に削減され、建築デザインの制御性が向上し、多様な建築様式において優れた出力の一貫性を示している。

ABSTRACT

Stable Diffusion model has been extensively employed in the study of archi-tectural image generation, but there is still an opportunity to enhance in terms of the controllability of the generated image content. A multi-network combined text-to-building facade image generating method is proposed in this work. We first fine-tuned the Stable Diffusion model on the CMP Fa-cades dataset using the LoRA (Low-Rank Adaptation) approach, then we ap-ply the ControlNet model to further control the output. Finally, we contrast-ed the facade generating outcomes under various architectural style text con-tents and control strategies. The results demonstrate that the LoRA training approach significantly decreases the possibility of fine-tuning the Stable Dif-fusion large model, and the addition of the ControlNet model increases the controllability of the creation of text to building facade images. This pro-vides a foundation for subsequent studies on the generation of architectural images.

研究の動機と目的

• 拡散モデルを用いた建築ファサード設計におけるテキストから画像への生成の制御性を向上させること。
• 建築用途における大規模な Stable Diffusion モデルの微調整にかかる計算コストを低減すること。
• 微調整済みの Stable Diffusion と ControlNet を統合し、構造的およびスタイル的制御性を向上させること。
• 異なるテキストプロンプトおよび制御戦略がファサード生成品質に与える影響を評価すること。

提案手法

• 計算コストを低減するために、LoRA（低ランク適応）技術を用いて CMP Facades データセット上で Stable Diffusion モデルを微調整した。
• 構造的またはレイアウト条件に基づいて画像生成をガイドするため、ControlNet モデルを統合した。
• さまざまな建築様式を記述するテキストプロンプトを適用し、画像生成プロセスを条件づけた。
• ファサード固有の特徴に適応しつつ、元のモデルの能力を保持するため、LoRAアダプタを CMP Facades データセット上で訓練した。
• テキスト条件付けと ControlNet のレイアウトまたはエッジガイドを組み合わせることで、より正確なファサード設計を実現した。
• 複数の建築様式および制御戦略を用いて出力を評価し、一貫性と品質を分析した。

実験結果

リサーチクエスチョン

• RQ1 LoRA微調整は、建築ファサード生成における Stable Diffusion の効率性および性能にどのように影響するか？
• RQ2 ControlNet を追加することで、テキストからファサード画像への生成の制御性はどの程度向上するか？
• RQ3 異なる建築様式の記述は、生成されたファサードの品質および正確性にどのように影響するか？
• RQ4 テキストのみとテキスト＋制御戦略の比較において、一貫性のあるファサード生成のパフォーマンスはいかほどか？

主な発見

• LoRA微調整手法により、Stable Diffusion モデルの微調整における計算コストと、災難的忘却のリスクが顕著に低減された。
• ControlNet の統合により、生成されたファサード画像の構造的正確性と制御性が向上した。
• LoRA と ControlNet を組み合わせたアプローチを用いることで、多様な建築様式の記述に一貫して適合するファサードが生成された。
• 特に複雑なスタイルプロンプトにおいても、テキストのみの生成に比べて、より一貫性がありスタイルに忠実なファサードが生成された。