[论文解读] Neural Design Network: Graphic Layout Generation with Constraints

Hsin-Ying Lee, Lu Jiang+5 more|arXiv (Cornell University)|Dec 19, 2019

Visual Attention and Saliency Detection参考文献 37被引用 9

一句话总结

本文提出神经设计网络（NDN），一种包含三个模块的深度学习框架，能够从用户指定的组件和约束条件中生成视觉上令人愉悦的图形设计版面。通过预测完整的组件关系、迭代生成边界框并优化版面对齐，NDN 生成的版面在满足用户约束的前提下，其真实感和对齐度优于现有方法，该结论已在 RICO、Magazine 和一个新的广告数据集上得到验证。

ABSTRACT

Graphic design is essential for visual communication with layouts being fundamental to composing attractive designs. Layout generation differs from pixel-level image synthesis and is unique in terms of the requirement of mutual relations among the desired components. We propose a method for design layout generation that can satisfy user-specified constraints. The proposed neural design network (NDN) consists of three modules. The first module predicts a graph with complete relations from a graph with user-specified relations. The second module generates a layout from the predicted graph. Finally, the third module fine-tunes the predicted layout. Quantitative and qualitative experiments demonstrate that the generated layouts are visually similar to real design layouts. We also construct real designs based on predicted layouts for a better understanding of the visual quality. Finally, we demonstrate a practical application on layout recommendation.

研究动机与目标

• 解决生成高质量、具备约束感知能力的图形设计版面的挑战，使其反映用户指定的组件关系与空间约束。
• 比基于像素空间的生成模型更有效地建模设计组件之间的复杂依赖关系（例如：'在...上方'、'大于'、'环绕'等）。
• 在版面生成过程中实现灵活的用户控制，包括部分约束条件与动态推荐功能。
• 基于预测的版面构建真实素材的视觉设计，以验证其视觉质量，超越纯量化指标。
• 通过一个面向真实设计工作流程的版面推荐应用，展示模型的实际应用价值。

提出的方法

• 模型采用基于图的表示方法，其中组件为节点，关系（如：'在...上方'、'更大'）为边，从而实现对组件交互关系的结构化建模。
• 关系预测模块从用户部分指定的输入图中推断出完整的组件关系图。
• 版面生成模块采用基于图神经网络（GNN）的架构，以图条件化的方式迭代预测各组件的边界框。
• 优化模块对预测的边界框进行微调，以改善对齐效果、减少重叠并提升视觉质量。
• 该框架支持灵活的输入方式，推理时可随机排列组件顺序，适用于版面推荐和遗漏组件预测等场景。
• 模型在三个数据集上进行训练与评估：RICO、Magazine，以及一个新收集的横幅广告数据集，涵盖多种版面类型。

实验结果

研究问题

• RQ1 深度学习模型能否生成满足用户指定空间与关系约束的、视觉上逼真的图形设计版面？
• RQ2 基于图的表示方法在版面设计中，能否有效捕捉并预测复杂的组件关系（如：'在...上方'、'环绕'等）？
• RQ3 所提出的三模块框架（关系预测、版面生成、优化）相较于基线方法，在多大程度上提升了版面质量？
• RQ4 该模型能否泛化至真实世界的设计应用，如版面推荐与基于素材的设计构建？
• RQ5 组件排序方式与潜在空间采样对版面生成质量与一致性有何影响？

主要发现

• 所提出的 NDN 模型生成的版面在视觉真实感和对齐度方面均优于基线方法，尤其在部分约束条件下表现更优。
• 与 LayoutVAE 和 sg2im 相比，NDN 在处理组件关系以及减少重叠或错位布局方面表现更佳。
• 即使在无任何约束条件下，NDN 仍能生成合理且可信的版面，体现出图结构设计带来的强大归纳偏置。
• 基于预测版面使用真实素材构建的设计，验证了生成版面的视觉质量与实际可用性。
• 版面推荐应用成功在部分画布条件下推荐最优组件布局，展示了其实际应用潜力。
• 失败案例主要源于潜在空间中的低数据区域，或训练数据中罕见的组件配置（如：三个按钮和两个标志）