[论文解读] LayoutGAN: Generating Graphic Layouts with Wireframe Discriminators

Jianan Li, Shuicheng Yan+3 more|arXiv (Cornell University)|Jan 21, 2019

Image Processing and 3D Reconstruction被引用 31

一句话总结

LayoutGAN 提出了一种新颖的 GAN 框架，通过使用带有自注意力机制的生成器和可微分线框渲染层，对 2D 元素之间的几何关系进行建模，从而生成结构化的图形布局。这使得 CNN 判别器能够基于视觉模式优化布局，显著提升了在文档布局、抽象场景和七巧板设计生成等任务中，相较于基线 GAN 和基于关系的判别器在对齐和关系准确性方面的表现。

ABSTRACT

Layout is important for graphic design and scene generation. We propose a novel Generative Adversarial Network, called LayoutGAN, that synthesizes layouts by modeling geometric relations of different types of 2D elements. The generator of LayoutGAN takes as input a set of randomly-placed 2D graphic elements and uses self-attention modules to refine their labels and geometric parameters jointly to produce a realistic layout. Accurate alignment is critical for good layouts. We thus propose a novel differentiable wireframe rendering layer that maps the generated layout to a wireframe image, upon which a CNN-based discriminator is used to optimize the layouts in image space. We validate the effectiveness of LayoutGAN in various experiments including MNIST digit generation, document layout generation, clipart abstract scene generation and tangram graphic design.

研究动机与目标

• 为解决生成高质量、结构化图形布局并保持几何关系与对齐的问题。
• 克服像素空间 GAN 在建模具有精确空间关系的矢量设计时的局限性。
• 开发一种可微分渲染方法，以保留重叠元素的可见性，实现有效的反向传播。
• 实现端到端训练 GAN，合成带有精细几何参数和类别概率的标记 2D 元素。
• 在包括文档布局、抽象场景和七巧板谜题在内的多样化设计任务中验证该方法。

提出的方法

• 生成器接收随机初始化的 2D 元素（包含类别概率和几何参数，如边界框关键点），并通过自注意力机制进行优化，生成一致的布局。
• 提出一种新颖的可微分线框渲染层，将生成的布局转换为线框图像，保留重叠元素的可见性，以支持视觉分析。
• 基于 CNN 的判别器评估线框图像，以优化布局的真实性，重点关注对齐和遮挡等空间模式。
• 生成器具有排列不变性，确保输入元素顺序变化时输出保持一致。
• 该框架采用双流判别器：一个作用于原始几何参数，另一个作用于线框图像，以提升对布局质量的敏感度。
• 训练过程为端到端，线框判别器提供梯度信号，引导生成器提升几何和关系保真度。

实验结果

研究问题

• RQ1 能否直接从几何参数和类别标签而非像素空间训练 GAN 来生成结构化图形布局？
• RQ2 如何设计一种可微分渲染方法，以在布局生成中有效保留空间关系和重叠元素的可见性，实现反向传播？
• RQ3 与直接基于几何或掩码的判别器相比，基于线框的判别器是否能提升布局质量？
• RQ4 该模型能否在多样化的设计任务中实现泛化，包括文档布局、抽象场景和七巧板谜题？
• RQ5 线框判别器在多大程度上提升了生成布局的对齐和关系准确性？

主要发现

• 在生成一致的抽象场景方面，使用线框判别器的 LayoutGAN 显著优于 DCGAN 和基于关系的判别器，尤其在准确放置如眼镜在面部、保持正确比例和朝向方面表现优异。
• 用户研究表明，70% 的参与者将线框判别器生成的布局评为“优秀”或“尚可”，在结构一致性与空间准确性方面的感知表现显著优于其他模型。
• 在七巧板扰动恢复任务中，LayoutGAN 能够成功将偏移的拼图块恢复至原始位置，证明其学习复杂空间关系的能力。
• 线框判别器在生成有意义的七巧板设计（如狐狸和人物）方面表现更优，而 DCGAN 和序列模型因空间建模不佳，生成结果出现扭曲或不连贯。
• 可微分线框渲染层实现了对遮挡区域的有效反向传播，而基于掩码的渲染因填充像素阻断梯度而失效。
• 生成器的排列不变性确保了无论输入元素顺序如何，布局输出均保持一致，验证了其对输入顺序的鲁棒性。