[論文レビュー] ChatHouseDiffusion: Prompt-Guided Generation and Editing of Floor Plans

Sizhong Qin, Chengyu He+5 more|arXiv (Cornell University)|Oct 15, 2024

Model-Driven Software Engineering Techniques被引用数 4

ひとこと要約

ChatHouseDiffusion は、自然言語理解のための大規模言語モデル（LLM）、トポロジー符号化のための Graphormer、高精細なレイアウト合成のための拡散モデルを統合した、革新的でインタラクティブなフロアプラン生成・編集フレームワークを提案する。プロンプト誘導の微調整により反復的・局所的な編集が可能で、ワンステップまたは非インタラクティブな手法に比べて、より高い IoU スコアと顕著に向上した設計の柔軟性と効率性を達成する。

ABSTRACT

The generation and editing of floor plans are critical in architectural planning, requiring a high degree of flexibility and efficiency. Existing methods demand extensive input information and lack the capability for interactive adaptation to user modifications. This paper introduces ChatHouseDiffusion, which leverages large language models (LLMs) to interpret natural language input, employs graphormer to encode topological relationships, and uses diffusion models to flexibly generate and edit floor plans. This approach allows iterative design adjustments based on user ideas, significantly enhancing design efficiency. Compared to existing models, ChatHouseDiffusion achieves higher Intersection over Union (IoU) scores, permitting precise, localized adjustments without the need for complete redesigns, thus offering greater practicality. Experiments demonstrate that our model not only strictly adheres to user specifications but also facilitates a more intuitive design process through its interactive capabilities.

研究の動機と目的

• 完全な入力仕様が必要で、反復的・局所的な編集をサポートしない既存のフロアプラン生成手法の不柔軟性を解消すること。
• 完全な再設計を伴わずに、自然言語フィードバックを通じてレイアウトを微調整できるようにすることで、設計の効率を向上させること。
• ユーザーの意図の意味的理解のための LLM の統合、構造的トポロジーのモデリングのための Graphormer の統合、高品質なレイアウト生成のための拡散モデルの統合。
• 拡散プロセスにおけるアテンションマップの変更により、全体の再生成なしに特定領域への正確な編集を可能にするメカニズムの実装。
• 進化する不完全なユーザー入力に対応できる実用的で使いやすい設計プロセスを、反復的フィードバックを通じて実現すること。

提案手法

• OpenAI API を介してアクセスする大規模言語モデル（LLM）を活用し、自然言語プロンプトを、タイプ、サイズ、位置、接続性を含む構造化された JSON 形式の部屋仕様に変換する。
• 部屋の接続関係と空間的位置をグラフ表現で表し、Graphormer を用いて部屋間のトポロジカル関係を符号化する。
• 構造化された入力をもとに、高解像度のフロアプラン（64×64）を拡散モデルで生成する。ノイズ除去は LLM による構造化プロンプトと、グラフベースのトポロジーの両方によって誘導される。
• 拡散モデルのアテンションマップを、特定の領域に焦点を当てた修正版に置き換えることで、全体の再生成なしに局所的な編集を可能にする。
• Python の tkinter ライブラリを用いて、描画、テキスト入力、シードベースの再生成、元に戻す機能を備えた GUI を統合し、インタラクティブな設計を支援する。
• ユーザー入力と事前定義された JSON スキーマを組み合わせたプロンプト工学戦略を採用し、LLM からの出力が一貫性があり、妥当であることを保証する。部屋タイプ、位置、サイズの列挙型を含む。

実験結果

リサーチクエスチョン

• RQ1 LLM、Graphormer、拡散モデルを統合した統一フレームワークは、不完全または進化する自然言語記述からの柔軟でインタラクティブなフロアプラン生成を可能にするか？
• RQ2 完全な再生成なしに、生成済みフロアプランに対して局所的な編集をどの程度効果的に実行できるか。その精度を実現するメカニズムは何か？
• RQ3 Graphormer を用いたトポロジカル構造の統合により、ベースライン手法と比較して、生成されたフロアプランの構造的整合性と現実性はどの程度向上するか？
• RQ4 本手法は、従来のワンステップまたは非インタラクティブな生成モデルと比較して、設計の正確性とユーザー満足度の面でどの程度優れているか？
• RQ5 ユーザーのフィードバックに適応しながら、複数の反復的設計ステップにわたって、高精細性と一貫性を維持できるか？

主な発見

• ChatHouseDiffusion は、既存のモデルと比較して、生成されたレイアウトと正解レイアウトの間の交差率（IoU）が高く、良好な一致を示している。
• 拡散プロセスにおけるアテンションマップの変更により、フロアプラン全体の再生成なしに、正確な局所的編集が可能である。
• ユーザーは部分的または進化する自然言語入力を用いて反復的にデザインを微調整でき、設計の柔軟性と効率性が顕著に向上する。
• 構造化された JSON 出力と検証を通じて、部屋タイプ、サイズ、位置、接続性を含むユーザー指定の制約を厳密に遵守している。
• LLM と拡散モデル、Graphormer の統合により、より直感的でインタラクティブな設計プロセスが実現され、明示的な入力仕様の負担が軽減される。
• 元に戻す機能、シード制御、プロンプト記憶を備えた GUI 実装により、使いやすさが向上し、実用的でリアルタイムの設計ワークフローを支援する。