[論文レビュー] Towards Co-Creative Generative Adversarial Networks for Fashion Designers

Imke Grabe, Jichen Zhu|arXiv (Cornell University)|Apr 19, 2023

Aesthetic Perception and AnalysisNeuroscience参考文献 29被引用数 3

ひとこと要約

本稿は、生成対抗ネットワーク（GAN）と混合イニシアチブ共同創造の原則を統合することで、ファッションデザイナーの共同創造フレームワークを提案する。GANの潜在空間操作を活用し、探索、進化、条件設定、再作成、スタイル制御の5つのインタラクションパターンを導入することで、反復的かつ意図的な人間とAIの協働を可能にし、適応的でインタラクティブなGANインターフェースを通じて創造的主体性と多様性を強化する。

ABSTRACT

Originating from the premise that Generative Adversarial Networks (GANs) enrich creative processes rather than diluting them, we describe an ongoing PhD project that proposes to study GANs in a co-creative context. By asking How can GANs be applied in co-creation, and in doing so, how can they contribute to fashion design processes? the project sets out to investigate co-creative GAN applications and further develop them for the specific application area of fashion design. We do so by drawing on the field of mixed-initiative co-creation. Combined with the technical insight into GANs' functioning, we aim to understand how their algorithmic properties translate into interactive interfaces for co-creation and propose new interactions.

研究の動機と目的

• 生成対抗ネットワーク（GAN）を共同創造ファッションデザインプロセスに意味的に応用する方法を調査し、受動的生成から能動的協働へと移行すること。
• 非専門家ユーザーと複雑なGANアーキテクチャの間の知識格差を埋めるために、アルゴリズム的知見と人間の知覚に基づいたインタラクティブインターフェースを開発すること。
• GANが静的条件設定を越えて、再作成のような動的で反復的なインタラクションパターンを可能にすることで、人間のフィードバックから学ぶモデルの進化を可能にすること。
• GANの潜在空間のエンタングルメントと非線形意味論が、ファッションデザイン出力における創造的コントロールと多様性にどのように影響するかを検討すること。
• 特にボディの多様性と表現に関する点で、トレーニングデータセット内のデータバイアスをファッションデザイナーが批判的に評価し、影響を及けることのできる包摂的デザインを支援すること。

提案手法

• 混合イニシアチブ共同創造を理論的枠組みとして採用し、GANベースのインタラクションを5つの明確なパターンにマッピングする：探索、進化、条件設定、再作成、スタイル制御。
• 潜在空間の補間と分離技術（例：知覚的パス長、線形分離性）を活用し、生成されたファッションデザインのインタラクティブナビゲーションと意味的編集を可能にする。
• テキスト、スケッチ、損失関数に基づく制約（例：色、質感、形状）を統合して、デザイナーが高レベルのデザイン意図でGAN出力をガイドできるようにする。
• 人間のフィードバックに基づいてGANの重みを微調整することで、AIが共同創造の過程で時間経過とともに行動を適応させるという、新規な「再作成」パターンを提唱する。
• GANLabやインタラクティブ遺伝的アルゴリズムを用いて、低解像度および高解像度のデザイン文脈における高次元潜在空間の探索をプロトタイプ化・評価する。
• スタイル認識モデルを統合し、非教師ありスタイル発見と制御を可能にし、機械固有のファッションアートの解釈を明らかにする可能性を秘める。

Figure 1. We present the four primary interaction patterns Curating , Exploring , Evolving , and Conditioning we identified as part of our preliminary framework (Grabe et al . , 2022a ) . We suggest a fifth pattern, Rewriting , for discussion.

実験結果

リサーチクエスチョン

• RQ1 GANはどのように構造化され、ファッションデザインにおける反復的かつインタラクティブな共同創造を可能にするのか、一方的な生成ではなく？
• RQ2 ファッションデザインにおける意図的で意識的な人間とAIの協働を可能にするために、アルゴリズム的要件とインターフェース設計にどのような要件が求められるか？
• RQ3 潜在空間のエンタングルメントや非線形意味論といったGAN固有の特性が、デザイナーにとっての実用的インタラクションパターンにどのように翻訳されるか？
• RQ4 共同創造の過程でGANがどのように適応されるか（例：重みの更新を通じて）、デザイナーの好みを反映し、時間経過とともに進化するか？
• RQ5 GANベースの共同創造システムは、特にボディフォームや文化的表現に関して、どのように多様性と包摂的デザインを支援できるか？

主な発見

• 本研究は、GANベースのファッションデザインにおける人間とAIの協働を構造づける5つの明確なインタラクションパターン—探索、進化、条件設定、再作成、スタイル制御—を同定した。
• 潜在空間の補間と分離技術により、デザイナーは知覚的パスを通じてファッションデザインをナビゲート・操作可能となり、インタラクティブな探索の形式を獲得する。
• 人間のフィードバックに基づいてGANの重みを更新する「再作成」パターンは、AIがデザイナーの入力から学び、時間経過とともに進化する共同創造の新しいモードを導入する。
• テキスト、スケッチ、または損失関数による条件付き生成により、高レベルのデザイン制約を実現できるが、反復的フィードバックなしでは一方向の条件設定に留まる。
• 非教師ありスタイル認識モデルを用いたスタイル制御により、機械固有のファッションアート解釈が明らかになる可能性があり、AI主導の美的理解の新たな形を示唆する。
• 本研究は、特にシルエットやボディフォームの表現に関する点で、トレーニングデータセット内のデータバイアスに対処することが、多様で包摂的なデザイン結果を実現する上で極めて重要であると強調している。