[论文解读] Layout Generation and Completion with Self-attention.

Kamal Gupta, Alessandro Achille+4 more|arXiv (Cornell University)|Jun 25, 2020

Handwritten Text Recognition Techniques参考文献 31被引用 11

一句话总结

本文提出LayoutTransformer，一种基于自注意力机制的框架，通过建模图形元素之间的上下文关系，在图像、文档和移动应用等多种领域生成并完成版面布局。该框架支持零样本版面生成、可解释的注意力可视化、类别与元素的可扩展处理，并学习有意义的类别嵌入，其在COCO、PubLayNet和RICO数据集上的表现优于以往方法。

ABSTRACT

We address the problem of layout generation for diverse domains such as images, documents, and mobile applications. A layout is a set of graphical elements, belonging to one or more categories, placed together in a meaningful way. Generating a new layout or extending an existing layout requires understanding the relationships between these graphical elements. To do this, we propose a novel framework, LayoutTransformer, that leverages a self-attention based approach to learn contextual relationships between layout elements and generate layouts in a given domain. The proposed model improves upon the state-of-the-art approaches in layout generation in four ways. First, our model can generate a new layout either from an empty set or add more elements to a partial layout starting from an initial set of elements. Second, as the approach is attention-based, we can visualize which previous elements the model is attending to predict the next element, thereby providing an interpretable sequence of layout elements. Third, our model can easily scale to support both a large number of element categories and a large number of elements per layout. Finally, the model also produces an embedding for various element categories, which can be used to explore the relationships between the categories. We demonstrate with experiments that our model can produce meaningful layouts in diverse settings such as object bounding boxes in scenes (COCO bounding boxes), documents (PubLayNet), and mobile applications (RICO dataset).

研究动机与目标

• 解决在图像、文档和移动应用等多样化领域中生成和完成版面的挑战。
• 使用深度学习方法建模版面中图形元素之间的上下文关系。
• 同时支持无条件版面生成和从初始元素集合出发的部分版面补全。
• 通过可视化注意力机制，实现对模型版面生成决策的可解释性。
• 在学习有意义的类别嵌入的同时，支持大量元素类别和每幅版面中的元素数量。

提出的方法

• 该框架采用基于Transformer的架构，利用自注意力机制建模版面元素之间的依赖关系。
• 输入元素通过可学习的标记嵌入进行编码，同时应用位置编码以保留空间顺序。
• 模型以自回归方式生成版面，基于先前元素的上下文注意力预测下一个元素。
• 通过在初始元素集合上进行条件控制，支持从零开始生成和部分版面的补全。
• 在训练过程中学习特定类别的嵌入，从而探索类别之间的语义关系。
• 通过可视化注意力权重，解释哪些先前元素影响了每个新元素的预测。

实验结果

研究问题

• RQ1 基于自注意力机制的模型能否在目标检测、文档版面和移动UI设计等多个领域中有效生成多样化版面？
• RQ2 模型在关注现有元素的基础上，能否准确预测出逻辑上合理的后续添加元素，从而完成部分版面？
• RQ3 注意力机制在多大程度上能为模型的版面生成决策提供可解释的洞察？
• RQ4 该模型在支持大量元素类别和高每幅版面元素数量时，其可扩展性如何？
• RQ5 通过学习到的类别嵌入，能够发现哪些元素类别之间的语义关系？

主要发现

• LayoutTransformer在COCO、PubLayNet和RICO等多个基准数据集的版面生成任务中达到最先进性能。
• 该模型能够从空状态成功生成结构一致的连贯版面，并以高结构一致性完成部分版面。
• 注意力可视化揭示了有意义的注意力模式，表明模型在生成过程中会关注语义相关的先前元素。
• 该模型能有效扩展以支持大量类别和高元素数量，且性能未出现下降。
• 学习到的类别嵌入捕捉了语义关系，支持对元素类型之间进行有意义的聚类和相似性分析。
• 该框架在多样化版面领域中表现出强大的泛化能力，表明其对领域分布变化具有鲁棒性。