[论文解读] LayoutDM: Transformer-based Diffusion Model for Layout Generation

Shang Chai, Liansheng Zhuang+1 more|arXiv (Cornell University)|May 4, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 LayoutDM，一种基于 Transformer 的扩散模型，用于条件化版面生成，通过纯 Transformer 架构替代卷积网络来去噪版面数据。通过利用自注意力机制，LayoutDM 在版面质量、多样性及训练稳定性方面达到当前最优性能，在 PublayNet 和 COCO 等基准数据集上优于 GAN 和 VAE。

ABSTRACT

Automatic layout generation that can synthesize high-quality layouts is an important tool for graphic design in many applications. Though existing methods based on generative models such as Generative Adversarial Networks (GANs) and Variational Auto-Encoders (VAEs) have progressed, they still leave much room for improving the quality and diversity of the results. Inspired by the recent success of diffusion models in generating high-quality images, this paper explores their potential for conditional layout generation and proposes Transformer-based Layout Diffusion Model (LayoutDM) by instantiating the conditional denoising diffusion probabilistic model (DDPM) with a purely transformer-based architecture. Instead of using convolutional neural networks, a transformer-based conditional Layout Denoiser is proposed to learn the reverse diffusion process to generate samples from noised layout data. Benefitting from both transformer and DDPM, our LayoutDM is of desired properties such as high-quality generation, strong sample diversity, faithful distribution coverage, and stationary training in comparison to GANs and VAEs. Quantitative and qualitative experimental results show that our method outperforms state-of-the-art generative models in terms of quality and diversity.

研究动机与目标

• 为解决 GAN 和 VAE 在版面生成中的局限性，如模式崩溃、训练不稳定及样本质量欠佳。
• 探索扩散模型在条件化版面生成中的潜力，其中版面被表示为具有离散与连续元素的可变长度、混合模态数据。
• 设计一种纯 Transformer 架构，以有效建模版面元素之间的复杂关系并处理可变长度输入。
• 实现高保真度的版面生成，具备强多样性与忠实的分布覆盖，克服现有生成模型的不足。
• 展示模型在多样化版面生成任务中的泛化能力，包括场景版面与文本标志生成。

提出的方法

• 该模型采用条件去噪扩散概率模型（DDPM）框架，其中反向去噪过程由基于 Transformer 的条件版面去噪器（cLayoutDenoiser）学习。
• cLayoutDenoiser 使用多头自注意力机制处理噪声版面数据，以捕捉元素间的长距离依赖关系与关联，且不依赖元素顺序的位置编码。
• 输入版面元素被表示为结合类别标签与 2D 坐标的标记序列，使 Transformer 能够处理混合模态、可变长度的版面。
• 通过属性嵌入（如类别标签）提供条件输入，与版面标记拼接，以引导去噪过程。
• 模型使用变分下界目标进行训练，最小化扩散步骤中原始版面与去噪后版面之间的重建损失。
• 推理阶段，模型通过迭代去噪随机噪声向量，生成与用户指定属性一致的连贯版面。

实验结果

研究问题

• RQ1 纯 Transformer 架构能否在扩散模型的反向去噪过程中有效替代卷积网络用于版面生成？
• RQ2 Transformer 中的自注意力机制是否能比卷积层更有效地建模版面元素之间的复杂空间与语义关系？
• RQ3 所提出的 LayoutDM 在条件化版面生成中是否能实现比 GAN 和 VAE 更好的样本多样性与分布覆盖？
• RQ4 LayoutDM 是否能泛化到标准文档版面之外的多样化版面生成任务，如文本标志与场景版面生成？
• RQ5 与现有最先进模型相比，LayoutDM 在训练稳定性和推理质量方面表现如何？

主要发现

• 在 PublayNet 数据集上，LayoutDM 在视觉质量与多样性方面均优于最先进模型 LayoutGAN++，该结果经定量指标与定性对比均得到验证。
• 与 LayoutGAN++ 相比，该模型生成的版面具有更好的对齐性与更少的元素重叠，表明其空间推理与版面连贯性更优。
• 在 COCO 数据集上，LayoutDM 能够成功生成合理的自然场景版面，正确地将船只置于河流中、云彩置于天空中，表明其对语义与空间关系有深刻理解。
• 在文本标志生成任务中，LayoutDM 生成的版面比 LogoGAN 更具灵活性与美学吸引力，尤其在处理较长文本序列时，避免了僵化的从左到右排列。
• 该模型表现出稳定的训练过程，未出现模式崩溃，实现了强大的分布覆盖与在多个随机种子下的稳定性能。
• 尽管采用迭代去噪过程，LayoutDM 仍保持了具有竞争力的推理速度，并在包括文档、标志与场景版面在内的多种版面类型中展现出良好的泛化能力。