[论文解读] House-GAN++: Generative Adversarial Layout Refinement Networks

Nelson Nauata, Sepidehsadat Hosseini+4 more|arXiv (Cornell University)|Mar 3, 2021

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 19

一句话总结

本文提出 House-GAN++，一种生成对抗网络，通过图约束关系 GAN 与条件 GAN 架构，迭代地利用前一输出作为约束，对平面图布局进行精细化优化。关键贡献是一种非迭代训练方法——逐分量真实值（GT）条件化，该方法有效训练了迭代生成器，使系统能够生成几乎与专业建筑师设计的平面图无法区分的布局，即使在真实度、多样性与兼容性指标上也优于最先进方法。

ABSTRACT

This paper proposes a novel generative adversarial layout refinement network for automated floorplan generation. Our architecture is an integration of a graph-constrained relational GAN and a conditional GAN, where a previously generated layout becomes the next input constraint, enabling iterative refinement. A surprising discovery of our research is that a simple non-iterative training process, dubbed component-wise GT-conditioning, is effective in learning such a generator. The iterative generator also creates a new opportunity in further improving a metric of choice via meta-optimization techniques by controlling when to pass which input constraints during iterative layout refinement. Our qualitative and quantitative evaluation based on the three standard metrics demonstrate that the proposed system makes significant improvements over the current state-of-the-art, even competitive against the ground-truth floorplans, designed by professional architects.

研究动机与目标

• 解决自动化、高质量平面图生成的挑战，以模仿专业建筑师的迭代设计过程。
• 在缺乏真实不完整平面图数据集的情况下，实现在基于 GAN 的框架中进行迭代布局优化。
• 开发一种有效学习迭代生成器的训练方法，而无需依赖迭代训练数据。
• 引入推理时元优化，以进一步提升特定指标（如兼容性或多样性）。
• 与专业建筑师对比评估系统，证明其在布局质量上接近人类水平。

提出的方法

• 该架构将图约束关系 GAN 与条件 GAN 相结合，每个优化步骤均以前一布局作为条件输入约束。
• 提出一种新颖的非迭代训练方法——逐分量真实值条件化，以随机概率将真实分割掩码传递给每个组件，以训练迭代生成器。
• 生成器以一系列优化步骤输出向量平面图，逐步改善空间布局、房间形状与门的位置。
• 推理时元优化可控制何时传递哪些输入约束（如房间掩码），以优化特定指标（如兼容性或多样性）。
• 系统使用包含 60,000 个专业平面图及其对应气泡图的 RPLAN 数据集进行训练与评估。
• 评估采用标准指标：真实度（通过用户研究）、多样性与兼容性，与最先进方法及真实值进行成对比较。

实验结果

研究问题

• RQ1 非迭代训练过程能否有效训练出执行迭代布局优化的生成器？
• RQ2 通过基于 GAN 的系统实现迭代优化，能否生成与专业建筑师设计的平面图几乎无法区分的布局？
• RQ3 逐分量真实值条件化在实现迭代优化生成器学习方面有多有效？
• RQ4 推理时元优化能否提升特定布局指标（如兼容性或多样性）？
• RQ5 生成的布局在真实度与空间一致性方面，能在多大程度上匹配或超越真实值平面图？

主要发现

• 所提出的系统 House-GAN++ 在所有三项标准指标（真实度、多样性与兼容性）上均大幅优于所有对比方法。
• 在用户研究中，专业建筑师无法可靠区分 House-GAN++ 最佳变体（Ours_static*）与真实值平面图，其中 25% 的人认为其更优，32% 认为是平局。
• 在向量平面图可视化中，系统与真实值的成对真实度得分为 -0.18，表明几乎无法区分。
• 元优化显著提升了指标特定性能：当针对兼容性优化时，兼容性被最大化；当针对多样性优化时，多样性被最大化。
• 最优优化方案在兼容布局中比在不兼容布局中更早传递掩码条件，且门的掩码条件早于大房间，这与直观设计顺序相反。
• 即使仅有 10% 的样本完全兼容，优化后的系统（Ours_static*）性能仍接近真实值，证明了其强大的实际可行性。