[论文解读] House-GAN: Relational Generative Adversarial Networks for Graph-constrained House Layout Generation

Nelson Nauata, Kai-Hung Chang+3 more|arXiv (Cornell University)|Mar 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 29

一句话总结

本文提出 House-GAN，一种关系生成对抗网络，能够从基于图的气泡图约束（定义房间类型和相邻关系）生成多样化、逼真的房屋布局。通过使用卷积消息传递将空间约束直接编码到关系神经网络的图结构中，House-GAN 在逼真度、多样性以及与输入约束的兼容性方面优于现有方法，在包含 117,000 幅平面图的数据集上达到最先进水平。

ABSTRACT

This paper proposes a novel graph-constrained generative adversarial network, whose generator and discriminator are built upon relational architecture. The main idea is to encode the constraint into the graph structure of its relational networks. We have demonstrated the proposed architecture for a new house layout generation problem, whose task is to take an architectural constraint as a graph (i.e., the number and types of rooms with their spatial adjacency) and produce a set of axis-aligned bounding boxes of rooms. We measure the quality of generated house layouts with the three metrics: the realism, the diversity, and the compatibility with the input graph constraint. Our qualitative and quantitative evaluations over 117,000 real floorplan images demonstrate that the proposed approach outperforms existing methods and baselines. We will publicly share all our code and data.

研究动机与目标

• 解决建筑师和房主在自动化、约束感知房屋布局生成方面的挑战。
• 开发一种数据驱动的生成模型，以尊重气泡图中编码的复杂空间关系（房间类型和相邻关系）。
• 通过将图结构约束直接整合到模型架构中，改进现有的基于 GAN 和序列化布局生成方法。
• 使用三个指标评估布局质量：逼真度、多样性以及与输入约束的兼容性。
• 公开发布代码和数据，以支持可复现性，并推动人工智能辅助建筑设计的进一步研究。

提出的方法

• House-GAN 使用基于卷积消息传递神经网络（Conv-MPN）构建的关系生成器和判别器，其在图结构上运行，其中节点代表设计空间中的房间特征体。
• 图结构编码了房间类型和空间相邻关系，通过卷积在节点间传递信息，以实现关系推理和布局一致性。
• 生成器输出房间的轴对齐边界框，而判别器则通过基于线框渲染的损失函数评估逼真度和约束合规性。
• 模型通过对抗学习进行训练，生成器中引入自注意力机制，判别器中使用可微分渲染器以提升逼真度。
• 在生成器早期注入噪声向量，模型在 117,000 幅真实平面图图像上端到端训练，以学习在约束下的布局分布。
• 该架构支持更高阶的空间组合推理与约束验证，避免了先前 GAN 中常见的模式崩溃问题。

实验结果

研究问题

• RQ1 关系 GAN 架构能否有效编码并强制执行房屋布局生成中的基于图的建筑约束（房间类型和相邻关系）？
• RQ2 House-GAN 在逼真度、多样性以及约束兼容性方面，与现有基于 GAN 和序列化布局生成方法相比表现如何？
• RQ3 增加输入图信息（房间数量、类型、连通性）在多大程度上提升了布局的兼容性和质量？
• RQ4 即使在严格的物理空间约束下，该模型能否生成多样化且逼真的布局而不发生模式崩溃？
• RQ5 该模型的主要失败模式是什么？未来工作应如何解决这些问题？

主要发现

• House-GAN 在所有评估指标中均取得最高分，包括逼真度、多样性和兼容性，全面超越所有基线方法，包括 LayoutGAN 和 Johnson 等人的方法。
• 在多样性指标上，House-GAN 表现最佳，仅在最小组（1–3 间房）中因约束本身导致多样性受限。
• 随着更多图信息的加入，兼容性得分显著提升：从包含所有约束时的 32.2% 下降到移除所有约束时的 10.8%，表明模型对输入结构高度敏感。
• 在用户研究中，专业建筑师认为 House-GAN 的成功案例与真实布局“同样优秀”，而失败案例则因房间不可达或形状错误等问题被判定为“较差”。
• 该模型表现出强大的泛化能力：当逐步增加具有连通性约束的房间时，能够显著重构布局以满足新的相邻要求（如图 8 中从第 4 列到第 5 列的调整）。
• 失败案例主要源于房间尺寸不当、对齐错误或通行受阻（例如，仅能通过浴室到达的阳台），表明未来工作需引入尺寸或门的标注。