[论文解读] HouseDiffusion: Vector Floorplan Generation via a Diffusion Model with Discrete and Continuous Denoising

Mohammad Amin Shabani, Sepidehsadat Hosseini+1 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Vision and Imaging被引用 5

一句话总结

HouseDiffusion 提出了一种扩散模型，通过去噪连续 2D 坐标和离散角点位置，直接从图约束输入（例如气泡图）生成矢量平面图。它在 RPLAN 数据集上实现了最先进性能，显著提升了多样性、兼容性和真实性，同时无需后处理即可控制角点数量和非曼哈顿结构。

ABSTRACT

The paper presents a novel approach for vector-floorplan generation via a diffusion model, which denoises 2D coordinates of room/door corners with two inference objectives: 1) a single-step noise as the continuous quantity to precisely invert the continuous forward process; and 2) the final 2D coordinate as the discrete quantity to establish geometric incident relationships such as parallelism, orthogonality, and corner-sharing. Our task is graph-conditioned floorplan generation, a common workflow in floorplan design. We represent a floorplan as 1D polygonal loops, each of which corresponds to a room or a door. Our diffusion model employs a Transformer architecture at the core, which controls the attention masks based on the input graph-constraint and directly generates vector-graphics floorplans via a discrete and continuous denoising process. We have evaluated our approach on RPLAN dataset. The proposed approach makes significant improvements in all the metrics against the state-of-the-art with significant margins, while being capable of generating non-Manhattan structures and controlling the exact number of corners per room. A project website with supplementary video and document is here https://aminshabani.github.io/housediffusion.

研究动机与目标

• 实现无需栅格化或后处理的端到端、直接生成矢量平面图。
• 通过离散去噪保留生成平面图中精确的几何关系（例如正交性、共用墙体）。
• 支持灵活的设计控制，例如指定每间房的确切角点数量。
• 通过解决 GAN 基模型（如 House-GAN++）在几何保真度和结构兼容性方面的局限，超越现有模型。
• 在保持高真实感和多样性的同时，实现非曼哈顿平面图的生成。

提出的方法

• 该模型采用基于 Transformer 的架构，包含三种注意力机制：逐组件自注意力（CSA）、全局自注意力（GSA）和关系交叉注意力（RCA）。
• 采用双分支去噪过程：对连续 2D 坐标进行去噪以实现精确的空间反演，对最终角点位置进行离散去噪以强制执行几何约束。
• 输入以房间和门的 1D 多边形环路表示，图约束通过注意力掩码编码，以引导布局结构。
• 对墙点应用角点增强，以在离散去噪过程中提升几何关联关系（如相交）的检测能力。
• 离散去噪头仅在最后 32 个去噪步骤中激活，以平衡精细化与准确性。
• 模型在 RPLAN 数据集上端到端训练，结合 L2 损失用于连续坐标，交叉熵损失用于离散角点预测。

实验结果

研究问题

• RQ1 扩散模型能否在保留平行性、正交性等几何关联关系的同时，有效生成高保真度的矢量平面图？
• RQ2 与纯连续或纯离散方法相比，结合连续与离散去噪在几何精度方面有何提升？
• RQ3 该模型在每间房角点数量上实现精确控制的同时，能多大程度上生成非曼哈顿平面图？
• RQ4 不同注意力机制（CSA、GSA、RCA）对生成平面图的质量、多样性和兼容性分别有何相对贡献？
• RQ5 在最后阶段进行离散去噪是否显著提升结构一致性，相较于早期或无离散精炼？

主要发现

• HouseDiffusion 在 RPLAN 数据集上实现多样性得分 9.5 ± 0.1 和兼容性得分 2.5 ± 0.0，显著优于 House-GAN++。
• 消融实验表明，移除任意一种注意力机制（CSA、GSA、RCA）均导致性能下降，其中 GSA 对真实感和多样性影响最大。
• 在最后 32 步激活离散去噪头可获得最佳性能，更早或更晚激活均会降低质量。
• 角点增强使兼容性提升 0.5 分（从 3.0 降至 2.5），多样性提升 0.5 分（从 10.0 降至 9.5），证明其在增强几何推理能力方面的作用。
• 该模型成功生成了角点数量可控的非曼哈顿平面图，如图 7 所示，其中餐厅的角点数量被增加，同时保持布局一致性。
• 将 GSA 层数量增至三倍（而非使用组合注意力机制）的消融实验表现更差，证实三种注意力机制缺一不可。