[论文解读] Building LEGO Using Deep Generative Models of Graphs

Rylee Thompson, Elahe Ghalebi+2 more|arXiv (Cornell University)|Dec 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 5

一句话总结

本文提出一种基于图神经网络的深度生成模型，用于创建类人设计的乐高结构，将砖块连接关系建模为图中的节点与边。该模型在基线方法上展现出更优的多样性与质量，生成89.5%的全新设计，GIN分类器准确率达60.5%，证明了生成模型在物理性、顺序组装设计中的可行性。

ABSTRACT

Generative models are now used to create a variety of high-quality digital artifacts. Yet their use in designing physical objects has received far less attention. In this paper, we advocate for the construction toy, LEGO, as a platform for developing generative models of sequential assembly. We develop a generative model based on graph-structured neural networks that can learn from human-built structures and produce visually compelling designs. Our code is released at: https://github.com/uoguelph-mlrg/GenerativeLEGO.

研究动机与目标

• 开发一种基于乐高这一既真实又易用的平台的顺序物理组装生成模型。
• 将图的深度生成模型（DGMG）适配于建模具有物理与美学约束的乐高结构。
• 采用适配于图生成的图像风格度量方法评估生成性能，包括多样性、质量与新颖性。
• 探究在生成过程中强制结构有效性的方法对模型性能与设计质量的影响。
• 证明基于图的生成模型能够生成视觉上引人注目、多样化且新颖的乐高设计，且能超越训练样本进行泛化。

提出的方法

• 将乐高结构表示为图，其中节点为砖块（含类型、颜色、朝向），边为砖块之间的连接。
• 在DGMG框架基础上，引入可学习的边类型模块，采用基于softmax的分类方法建模连接类型，以提升训练稳定性。
• 通过在生成过程中拒绝无效结构来引入物理约束，另设一个变体（DGMLG-Re）强制结构有效性。
• 使用基于GIN的图分类器评估生成结构的质量及与训练数据的相似性。
• 应用排列不变性分析，评估生成样本在多样性与覆盖范围上的表现。
• 通过类别级描述（如“墙”、“桌”）进行条件生成，以产生语境相关的结构设计。

实验结果

研究问题

• RQ1 深度图生成模型能否生成视觉上吸引人且多样的乐高结构，使其与人类搭建的设计相似？
• RQ2 在生成过程中强制物理可构建性，如何影响生成乐高结构的质量与多样性？
• RQ3 图像生成评估度量方法（如FID、精确率、召回率）在多大程度上可有意义地适配于物理设计的图生成？
• RQ4 基于类别级语义的条件生成是否能带来更连贯且语境恰当的乐高设计？
• RQ5 不同的边类型建模策略（如softmax与热编码）对训练稳定性和最终性能有何影响？

主要发现

• 所提出的DGMLG模型在GIN分类器上达到60.5%的准确率，显著优于贝叶斯优化基线（11.9%），证明其具备高质量结构生成能力。
• DGMLG生成了89.5%的全新结构，表明其在训练样本精确复制之外具有强大的泛化能力。
• 尽管强制了结构有效性，无约束的DGMLG变体在多数指标上仍优于DGMLG-Re，表明在训练过程中允许部分无效结构可能有助于提升整体多样性与质量。
• 该模型成功生成了训练模式的更大或更复杂版本，如延长的线条与平面桌，展现出模式泛化能力。
• 基于softmax的边类型模块在训练稳定性和性能上优于热编码，尽管后者在理论上更契合有序回归。
• 密度与覆盖度（D&C）的调和平均数作为稳健度量，有效识别出各训练周期中表现最佳的模型。