[논문 리뷰] A Survey for Graphic Design Intelligence

Danqing Huang, Jiaqi Guo외 7명|arXiv (Cornell University)|2023. 09. 04.

Design Education and PracticeEngineering인용 수 3

한 줄 요약

이 종합 검토는 그래픽 디자인 지능에 대한 체계적인 분류 체계를 제안하며, 기존 연구를 세 가지 기둥으로 정리한다: 시각적 디자인의 표현, 이해, 생성. 이 종합 검토는 시각적 요소, 레이아웃 구성, 사용자 중심 응용 분야를 포함한 AI 기반 디자인 분야의 발전을 종합적으로 분석하면서, 자기지도 학습, 디자인 지식 인코딩, 인간-AI 협업 분야의 핵심 과제와 향후 방향성을 규명한다.

ABSTRACT

Graphic design is an effective language for visual communication. Using complex composition of visual elements (e.g., shape, color, font) guided by design principles and aesthetics, design helps produce more visually-appealing content. The creation of a harmonious design requires carefully selecting and combining different visual elements, which can be challenging and time-consuming. To expedite the design process, emerging AI techniques have been proposed to automatize tedious tasks and facilitate human creativity. However, most current works only focus on specific tasks targeting at different scenarios without a high-level abstraction. This paper aims to provide a systematic overview of graphic design intelligence and summarize literature in the taxonomy of representation, understanding and generation. Specifically we consider related works for individual visual elements as well as the overall design composition. Furthermore, we highlight some of the potential directions for future explorations.

연구 동기 및 목표

• 기존 연구를 통합된 분류 체계로 정리함으로써 그래픽 디자인 지능에 대한 체계적이고 고수준의 개요를 제공하기 위해.
• 현재 AI 기반 디자인 연구의 산산이 흩어진 성격을 해결하기 위해 시각적 요소와 전체 디자인 구성 모두를 통합한 연구를 통합하기 위해.
• AI를 활용한 그래픽 디자인의 표현, 이해, 생성 분야에서의 핵심 격차를 규명하기 위해.
• 자기지도 학습, 디자인 지식 인코딩, 디자인 워크플로우 내 인간-AI 협업 분야에서 나타나는 새로운 과제들을 부각하기 위해.
• 확장 가능한 학습, 구조화된 디자인 모델링, 윤리적 AI 통합 분야에서의 잠재적 방향성을 제시함으로써 향후 연구를 이끌기 위해.

제안 방법

• 세 단계로 구성된 분류 체계를 제안함: 표현(디자인의 의미적 임베딩 학습), 이해(시각적 요소의 구조, 관계, 의미 분석), 생성(제약 조건에서 새로운 디자인 자동 생성).
• 디자인 지능 작업 평가 및 벤치마킹을 위해 PubLayNet, QuickDraw, SVG-Fonts, SVG 아이콘 형태 등의 데이터셋을 검토함.
• 화소 및 메타데이터의 다중모달 융합에 중점을 두고, 시각적 및 구조적 디자인 데이터에서 마스크 모델링 및 완성 작업을 활용한 자기지도 학습 접근법을 분석함.
• 해당 모델의 해석 가능성 향상과 품질 평가 향상을 위해 디자인 원칙(예: 정렬, 대비)을 기계 학습 모델에 인코딩하기 위한 노력들을 분석함.
• 인지 부하와 윤리적 디자인 원칙을 존중하면서도 아이디어 도출, 창작, 보완 단계에서 AI가 지원하는 인간-AI 협업 프레임워크를 탐색함.
• Transformers 및 비전 Transformers 등의 모델 아키텍처를 평가하고, 디자인 데이터에 대한 자기지도 사전학습을 위한 사전 과제 선택의 중요성에 대해 논의함.

Figure 1: An overview of graphic design intelligence. The composition of visual elements produces a design. AI components including representation, understanding and generation serve as assistants to enhance graphic design in both element-level and design-level.

실험 결과

연구 질문

• RQ1 어떻게 하면 하위 작업에 적합한 저차원적이고 의미가 풍부한 임베딩을 사용하여 시각적 디자인을 효과적으로 표현할 수 있는가?
• RQ2 디자인 내 시각적 요소 간의 구조적 및 의미적 관계를 이해하는 데 있어 핵심 과제는 무엇인가?
• RQ3 AI가 디자인 원칙과 사용자 의도를 충족하는 새로운 고품질 디자인을 어느 정도 생성할 수 있는가?
• RQ4 대규모 비라벨 디자인 데이터에 대해 자기지도 학습을 어떻게 조정하여 표현 학습을 향상시킬 수 있는가?
• RQ5 황금비율, 시각적 계층 구조 등과 같은 디자인 지식를 어떻게 형식화하여 AI 모델에서 활용할 수 있는가?

주요 결과

• 이 종합 검토는 AI 기반 그래픽 디자인 분야에 대한 연구가 증가하고 있음을 확인하지만, 대부분의 연구가 통합된 분류 체계 없이 고립된 작업 중심으로 진행되고 있어, 통합된 디자인 지능에 대한 부족함을 지적한다.
• 대규모 자기지도 학습은 디자인 표현에 있어 잠재력을 보이고 있지만, 화소 기반 디자인에서 구조적 메타데이터를 역으로 복원하는 데 어려움이 남아 있다.
• 현재 자기지도 학습 방법은 주로 Transformer 백본과 마스크 언어 모델링에 의존하고 있으며, 다른 아키텍처나 사전 과제의 탐색은 제한적이다.
• 복잡한 디자인 원칙(예: 시각적 계층 구조, 대비)을 기계 모델에 성공적으로 인코딩한 연구는 소수에 불과하여, 디자인 지식의 형식화 분야에서 심각한 연구 격차가 있음을 시사한다.
• 디자인 분야에서 인간-AI 협업은 여전히 탐색이 부족한 분야이며, 아이디어 도출, 창작, 보완 단계에서 AI의 역할을 최적화한 사용자 연구나 프레임워크가 거의 없다.
• QuickDraw(5000만 개 스케치), SVG-Fonts(1400만 개 폰트), PubLayNet(33만 개 문서)와 같은 벤치마크 데이터셋은 연구 발전에 필수적이지만, 다중모달 학습을 위한 잠재력은 여전히 충분히 활용되지 않고 있다.

Figure 2: Design understanding in element-level and design-level.