[论文解读] Roof-GAN: Learning to Generate Roof Geometry and Relations for Residential Houses

Yiming Qian, Hao Zhang+1 more|arXiv (Cornell University)|Dec 17, 2020

3D Shape Modeling and Analysis参考文献 39被引用 6

一句话总结

Roof-GAN 是一种新颖的生成对抗网络，通过将屋顶基本体建模为带有学习到的几何关系的图，生成逼真且多样的住宅屋顶结构。它结合可微分向量化器与基于栅格的几何表示，联合生成结构化几何并强制执行空间关系，在定性和定量评估中均优于先前方法，且引入了一项针对结构化几何生成的新度量标准。

ABSTRACT

This paper presents Roof-GAN, a novel generative adversarial network that generates structured geometry of residential roof structures as a set of roof primitives and their relationships. Given the number of primitives, the generator produces a structured roof model as a graph, which consists of 1) primitive geometry as raster images at each node, encoding facet segmentation and angles; 2) inter-primitive colinear/coplanar relationships at each edge; and 3) primitive geometry in a vector format at each node, generated by a novel differentiable vectorizer while enforcing the relationships. The discriminator is trained to assess the primitive raster geometry, the primitive relationships, and the primitive vector geometry in a fully end-to-end architecture. Qualitative and quantitative evaluations demonstrate the effectiveness of our approach in generating diverse and realistic roof models over the competing methods with a novel metric proposed in this paper for the task of structured geometry generation. Code and data are available at https://github.com/yi-ming-qian/roofgan .

研究动机与目标

• 生成具有复杂几何关系的多样化且逼真的住宅屋顶结构。
• 将屋顶几何建模为带有学习到的空间关系（例如共线性、共面性）的基本体图。
• 通过可微分向量化器实现几何与关系生成的端到端训练。
• 开发一种新的结构化几何生成评估度量（RMMD），以捕捉物理和拓扑保真度。
• 展示组合泛化能力，例如生成训练数据中未出现的新型屋顶形态。

提出的方法

• 生成器构建一个图结构，其中节点表示屋顶基本体，其包含4通道栅格图像，编码表面分割与角度信息。
• 边通过独热向量编码几何关系（共线性与共面性）。
• 提出一种新型可微分向量化器，将每个节点的栅格几何转换为向量格式，从而支持端到端反向传播。
• 判别器同时评估整体几何构型、关系正确性以及向量化几何的合理性。
• 使用两个判别器：一个用于全局几何，另一个用于局部关系与几何。
• 模型通过对抗损失进行端到端训练，同时对关系与几何施加监督。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否生成具有复杂几何关系的多样化且逼真的住宅屋顶结构？
• RQ2 可微分向量化能否在强制执行空间关系的同时，实现向量化屋顶几何的端到端学习？
• RQ3 显式建模关系（如共线性、共面性）是否能提升生成质量，相较于忽略此类约束的方法？
• RQ4 该模型能否泛化到训练数据中未出现的新型屋顶构型（如 O 形建筑）？
• RQ5 所提出的 RMMD 度量与 FID 相比，在捕捉结构化几何有意义差异方面表现如何？

主要发现

• 在交叉验证的三基本体测试集上，Roof-GAN 在 RMMD 上相比 PQ-Net 和 House-GAN 提升了 39%，证明其泛化能力更优。
• 消融实验表明，移除关系编码后性能下降 6.6%，证实其在真实性生成中的关键作用。
• 可微分向量化器贡献显著，当其被移除时性能下降 4.5%，验证了其有效性。
• Roof-GAN 生成了训练数据中未出现的新型、逼真的屋顶形态，如 O 形建筑，表明其具备强大的组合泛化能力。
• 在模型检索任务中，Roof-GAN 生成的样本在拓扑与结构上始终最接近真实样本，经由视觉检查与 RMMD 分数双重验证。
• FID 得分始终优于 Roof-GAN，但该度量的可解释性有限；相比之下，RMMD 提供基于物理单位的距离度量，更具信息量。