[論文レビュー] A Survey for Graphic Design Intelligence

Danqing Huang, Jiaqi Guo+7 more|arXiv (Cornell University)|Sep 4, 2023

Design Education and PracticeEngineering被引用数 3

ひとこと要約

本調査は、図像的デザイン知能（Graphic Design Intelligence）の体系的分類法を提示し、既存の研究を3つの柱である「視覚的デザインの表現」「理解」「生成」に整理している。AI駆動のデザイン分野における進展を要約し、視覚的要素、レイアウト構成、ユーザー中心の応用をカバーしている。同時に、自己教師あり学習、デザイン知識の符号化、人間とAIの協働に関する主な課題と今後の方向性を特定している。

ABSTRACT

Graphic design is an effective language for visual communication. Using complex composition of visual elements (e.g., shape, color, font) guided by design principles and aesthetics, design helps produce more visually-appealing content. The creation of a harmonious design requires carefully selecting and combining different visual elements, which can be challenging and time-consuming. To expedite the design process, emerging AI techniques have been proposed to automatize tedious tasks and facilitate human creativity. However, most current works only focus on specific tasks targeting at different scenarios without a high-level abstraction. This paper aims to provide a systematic overview of graphic design intelligence and summarize literature in the taxonomy of representation, understanding and generation. Specifically we consider related works for individual visual elements as well as the overall design composition. Furthermore, we highlight some of the potential directions for future explorations.

研究の動機と目的

• 既存の研究を統一的な分類法に整理することで、図像的デザイン知能に関する体系的で包括的な概要を提供すること。
• 視覚的要素と全体的なデザイン構成の両方の分野にまたがる研究を統合することで、現在のAI駆動デザイン研究の断片的な性質を是正すること。
• AIを用いた図像的デザインの表現、理解、生成における重要なギャップを特定すること。
• 自己教師あり学習、デザイン知識の符号化、デザインワークフローにおける人間とAIの協働に関する新たな課題を強調すること。
• スケーラブルな学習、構造化されたデザインモデリング、倫理的AI統合の分野における有望な今後の研究方向を提示することで、今後の研究を導くこと。

提案手法

• 3段階の分類法を提案：表現（デザインの意味的埋め込みの学習）、理解（視覚的要素の構造、関係性、意味の分析）、生成（制約から自動的に新しいデザインを生成）。
• PubLayNet、QuickDraw、SVG-Fonts、SVGアイコン形状などのデータセットをレビューし、デザイン知能タスクの評価とベンチマークを実施。
• 視覚的および構造的デザインデータを用いたマスキングモデル化と補完タスクを通じた自己教師あり学習アプローチを検討し、ピクセルとメタデータのマルチモーダル統合に焦点を当てる。
• 整列、対比などのデザイン原則を機械学習モデルに符号化する試みを分析し、解釈可能性と品質評価の向上を図る。
• 認知的負荷と倫理的デザイン原則を尊重しながら、AIがアイデーション、作成、最適化の段階を支援する人間-AI協働フレームワークを検討。
• TransformersおよびビジョンTransformersなどのモデルアーキテクチャを評価し、デザインデータに対する自己教師あり事前学習のための事前学習タスクの選択について議論。

Figure 1: An overview of graphic design intelligence. The composition of visual elements produces a design. AI components including representation, understanding and generation serve as assistants to enhance graphic design in both element-level and design-level.

実験結果

リサーチクエスチョン

• RQ1 下流タスクに適した低次元で意味的豊富な埋め込みを用いて、視覚的デザインをどのように効果的に表現できるか？
• RQ2 デザイン内の視覚的要素間の構造的および意味的関係を理解するにあたり、主な課題は何か？
• RQ3 AIは、デザイン原則とユーザーの意図に適合する、新規で高品質なデザインをどの程度生成できるか？
• RQ4 大規模でラベルなしのデザインデータに対して、自己教師あり学習をどのように適応させ、表現学習を向上させられるか？
• RQ5 黄金比や視覚的階層構造といったデザイン知識（例：整列、対比）を、AIモデルで形式的に符号化し活用する方法は何か？

主な発見

• 本調査は、AI駆動の図像的デザイン分野における研究が増加していることを特定しているが、統一的な分類法が不足しており、多くの研究が全体的なデザイン知能を越えて孤立したタスクに集中していると指摘している。
• 大規模な自己教師あり学習は、デザイン表現の分野で有望であるが、ピクセルベースのデザインから構造的メタデータを逆算的に復元する点で課題が残っている。
• 現在の自己教師あり手法は主にTransformerバックボーンとマスキング言語モデルに依存しており、代替アーキテクチャや事前学習タスクの探索は限定的である。
• 視覚的階層構造や対比といった複雑なデザイン原則を機械学習モデルに成功裏に符号化した研究はごくわずかであり、デザイン知識の形式化に関する大きな研究ギャップが示されている。
• デザインにおける人間-AI協働は未だ十分に検討されておらず、アイデーション、作成、最適化の各段階でAIの役割を最適化するユーザー研究やフレームワークが少ない。
• QuickDraw（5000万スケッチ）、SVG-Fonts（1400万フォント）、PubLayNet（33万ドキュメント）といったベンチマークデータセットは研究の進展に不可欠であるが、マルチモーダル学習におけるその潜在的活用は十分に活かされていない。

Figure 2: Design understanding in element-level and design-level.