[論文レビュー] HouseDiffusion: Vector Floorplan Generation via a Diffusion Model with Discrete and Continuous Denoising

Mohammad Amin Shabani, Sepidehsadat Hosseini+1 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

HouseDiffusionは、連続的な2次元座標と離散的なコーナー位置の両方をノイズ除去することで、グラフ制約付き入力（例：バブルダイアグラム）から直接ベクトル型の床図を生成する拡散モデルを提案する。RPLANデータセットにおいて、多様性、適合性、現実性の面で顕著な向上を達成し、後処理を経ずにコーナー数の制御や非マンハッタン構造の生成が可能である。

ABSTRACT

The paper presents a novel approach for vector-floorplan generation via a diffusion model, which denoises 2D coordinates of room/door corners with two inference objectives: 1) a single-step noise as the continuous quantity to precisely invert the continuous forward process; and 2) the final 2D coordinate as the discrete quantity to establish geometric incident relationships such as parallelism, orthogonality, and corner-sharing. Our task is graph-conditioned floorplan generation, a common workflow in floorplan design. We represent a floorplan as 1D polygonal loops, each of which corresponds to a room or a door. Our diffusion model employs a Transformer architecture at the core, which controls the attention masks based on the input graph-constraint and directly generates vector-graphics floorplans via a discrete and continuous denoising process. We have evaluated our approach on RPLAN dataset. The proposed approach makes significant improvements in all the metrics against the state-of-the-art with significant margins, while being capable of generating non-Manhattan structures and controlling the exact number of corners per room. A project website with supplementary video and document is here https://aminshabani.github.io/housediffusion.

研究の動機と目的

• ラスタライゼーションや後処理を経ないエンドツーエンドの直接的ベクトル型床図生成を可能にすること。
• 離散的ノイズ除去により、直交性、共有壁などの正確な幾何的関係を保持すること。
• 部屋ごとのコーナー数を正確に指定するなど、柔軟な設計制御を可能にすること。
• 幾何的忠実性や構造的適合性に欠ける既存のGANベースのモデル（例：House-GAN++）の限界を克服すること。
• 高品質で多様性に富んだ非マンハッタン床図の生成を可能にすること。

提案手法

• モデルは、部屋ごとの自己注意（CSA）、グローバル自己注意（GSA）、関係的クロスアテンション（RCA）の3つのアテンション機構を備えたトランスフォーマー基盤アーキテクチャを採用する。
• 2段階のノイズ除去プロセスを採用：空間的再構成のための連続的座標ノイズ除去、幾何的制約の強制のための離散的コーナー位置ノイズ除去。
• 入力は部屋およびドアの1次元ポリゴナルループとして表現され、アテンションマスクを介してグラフ制約が符号化され、レイアウト構造をガイドする。
• 離散的ノイズ除去の過程で幾何的接続関係（例：平行、直交）の検出を向上させるために、壁点に対してコーナーオーバーレイを適用する。
• 離散的ノイズ除去ヘッドは最終32ステップでのみ有効化され、精錬と正確性のバランスを取る。
• 連続座標のためのL2損失と離散的コーナー予測のための交差エントロピー損失を組み合わせ、RPLANデータセット上でエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、平行性や直交性などの幾何的接続関係を保持しつつ、高精度なベクトル型床図を効果的に生成できるか？
• RQ2 連続的および離散的ノイズ除去を併用することで、純粋に連続的または離散的アプローチに比べて幾何的正確性がどのように向上するか？
• RQ3 モデルは、部屋ごとのコーナー数を正確に制御しつつ、非マンハッタン床図をどの程度生成できるか？
• RQ4 CSA、GSA、RCAといった異なるアテンション機構の、生成された床図の品質、多様性、適合性への相対的寄与度はいかほどか？
• RQ5 最終段階での離散的ノイズ除去は、初期段階や欠落した場合に比べ、構造的一致性を著しく向上させるか？

主な発見

• HouseDiffusionはRPLANデータセットで多様性スコア9.5 ± 0.1、適合性スコア2.5 ± 0.0を達成し、House-GAN++を顕著に上回る。
• アブレーションスタディでは、CSA、GSA、RCAのいずれかのアテンション機構を削除すると性能が低下し、特にGSAが現実性と多様性に最も大きな影響を与える。
• 離散的ノイズ除去ヘッドを最終32ステップに限定することで最適な性能が得られ、それより前または後の有効化では品質が低下する。
• コーナーオーバーレイは適合性を0.5ポイント（3.0 → 2.5）と多様性を0.5ポイント（10.0 → 9.5）向上させ、幾何的推論の向上に寄与することが示された。
• 非マンハッタン床図をコーナー数の制御とともに効果的に生成でき、図7ではダイニングルームのコーナー数を増加させつつもレイアウトの一貫性を維持している。
• GSA層を3倍に増やしたアブレーションでは、統合アテンション機構の代わりに性能が劣り、CSA, GSA, RCAの3つのアテンションタイプの必要性が裏付けられた。