[论文解读] A Survey for Graphic Design Intelligence

Danqing Huang, Jiaqi Guo+7 more|arXiv (Cornell University)|Sep 4, 2023

Design Education and PracticeEngineering被引用 3

一句话总结

本综述提出了一套系统化的图形设计智能分类法，将现有研究归纳为三大支柱：视觉设计的表征、理解与生成。该综述整合了人工智能驱动设计的最新进展——涵盖视觉元素、版面构图及以用户为中心的应用——并指出了在自监督学习、设计知识编码以及人机协作方面存在的关键挑战与未来研究方向。

ABSTRACT

Graphic design is an effective language for visual communication. Using complex composition of visual elements (e.g., shape, color, font) guided by design principles and aesthetics, design helps produce more visually-appealing content. The creation of a harmonious design requires carefully selecting and combining different visual elements, which can be challenging and time-consuming. To expedite the design process, emerging AI techniques have been proposed to automatize tedious tasks and facilitate human creativity. However, most current works only focus on specific tasks targeting at different scenarios without a high-level abstraction. This paper aims to provide a systematic overview of graphic design intelligence and summarize literature in the taxonomy of representation, understanding and generation. Specifically we consider related works for individual visual elements as well as the overall design composition. Furthermore, we highlight some of the potential directions for future explorations.

研究动机与目标

• 通过将现有研究整合为统一的分类法，提供图形设计智能的系统性、高层次概览。
• 通过统一视觉元素与整体版面构图的研究工作，解决当前人工智能驱动设计研究的碎片化问题。
• 利用人工智能识别图形设计在表征、理解与生成方面的关键研究空白。
• 突出在自监督学习、设计知识编码以及设计工作流中的人机协作方面面临的新挑战。
• 通过阐明可扩展学习、结构化设计建模以及伦理AI集成方面的有前景方向，为未来研究提供指导。

提出的方法

• 提出三级分类法：表征（学习设计的语义嵌入）、理解（分析视觉元素的结构、关系与语义）和生成（从约束条件自动生成新设计）。
• 回顾PubLayNet、QuickDraw、SVG-Fonts和SVG图标形状等数据集，用于评估和基准测试设计智能任务。
• 研究基于掩码建模和补全任务的自监督学习方法，应用于视觉与结构化设计数据，重点聚焦像素与元数据的多模态融合。
• 分析将设计原则（如对齐、对比）编码进机器学习模型的努力，以提升可解释性与质量评估。
• 探索人机协作框架，其中AI在尊重认知负荷与伦理设计原则的前提下，支持创意构思、创作与优化阶段。
• 评估Transformer与视觉Transformer等模型架构，并讨论在设计数据上进行自监督预训练时，对掩码任务的选择。

Figure 1: An overview of graphic design intelligence. The composition of visual elements produces a design. AI components including representation, understanding and generation serve as assistants to enhance graphic design in both element-level and design-level.

实验结果

研究问题

• RQ1 如何利用低维、语义丰富的嵌入有效表征视觉设计，以支持下游任务？
• RQ2 在设计中，视觉元素之间的结构与语义关系理解面临哪些关键挑战？
• RQ3 人工智能在多大程度上能够生成符合设计原则与用户意图的新型高质量设计？
• RQ4 如何将自监督学习适配于大规模未标注设计数据，以提升表征学习效果？
• RQ5 如何将设计知识（如黄金比例、视觉层次）以形式化方式编码并应用于人工智能模型？

主要发现

• 综述识别出人工智能驱动图形设计领域的研究日益增多，但缺乏统一的分类法，多数研究集中于孤立任务，而非整体设计智能。
• 大规模自监督学习在设计表征方面展现出潜力，但在从基于像素的设计中逆向工程结构化元数据方面仍面临挑战。
• 当前的自监督方法主要依赖Transformer主干网络与掩码语言建模，对其他架构或掩码任务的探索有限。
• 仅有少数研究成功将复杂设计原则（如视觉层次、对比）编码进机器模型，表明在形式化设计知识方面存在重大研究空白。
• 设计中的人机协作仍研究不足，缺乏用户研究或框架来优化AI在创意构思、创作与优化各阶段的角色。
• 基准数据集如QuickDraw（5000万幅草图）、SVG-Fonts（1400万字体）和PubLayNet（33万份文档）对推动研究至关重要，但其在多模态学习中的全部潜力尚未被充分利用。

Figure 2: Design understanding in element-level and design-level.