[논문 리뷰] Towards Co-Creative Generative Adversarial Networks for Fashion Designers

Imke Grabe, Jichen Zhu|arXiv (Cornell University)|2023. 04. 19.

Aesthetic Perception and AnalysisNeuroscience참고 문헌 29인용 수 3

한 줄 요약

이 논문은 생성적 적대 기반 네트워크(GANs)를 활용한 패션 디자이너를 위한 공동 창작 프레임워크를 제안한다. 혼합 주도 공동 창작 원칙과 GAN의 잠재공간 조작을 융합하여, 반복적이고 의도적인 인간-AI 협업을 가능하게 하는 다섯 가지 상호작용 패턴—탐색, 진화, 조건 설정, 재작성, 스타일 조정—을 도입한다. 이는 창의적 주도성과 다양성을 높이기 위한 적응형·상호작용형 GAN 인터페이스를 통해 실현된다.

ABSTRACT

Originating from the premise that Generative Adversarial Networks (GANs) enrich creative processes rather than diluting them, we describe an ongoing PhD project that proposes to study GANs in a co-creative context. By asking How can GANs be applied in co-creation, and in doing so, how can they contribute to fashion design processes? the project sets out to investigate co-creative GAN applications and further develop them for the specific application area of fashion design. We do so by drawing on the field of mixed-initiative co-creation. Combined with the technical insight into GANs' functioning, we aim to understand how their algorithmic properties translate into interactive interfaces for co-creation and propose new interactions.

연구 동기 및 목표

• 생성적 적대 기반 네트워크(GANs)가 의미 있는 방식으로 공동 창작 패션 디자인 과정에 적용될 수 있는 방법을 탐구하며, 수동적 생성을 넘어서 활동적인 협업으로의 전환을 목표로 한다.
• 비전문가 사용자와 복잡한 GAN 아키텍처 사이의 지식 격차를 해소하기 위해, 알고리즘적 통찰과 인간 인지에 기반한 상호작용 인터페이스를 개발한다.
• GAN이 정적 조건 설정을 넘어서 동적이고 반복적인 상호작용 패턴(예: 재작성)을 통해 진화할 수 있도록 하는 방법을 탐구한다. 이 경우 모델은 인간의 피드백에서 학습한다.
• GAN의 잠재공간의 엉키는 성질과 비선형 의미론이 패션 디자인 출력의 창의적 제어와 다양성에 미치는 영향을 분석한다.
• 특히 신체 다양성과 표현에 있어 데이터 편향을 비판적으로 평가하고 영향력을 행사할 수 있도록 패션 디자이너들이 이를 지원함으로써 포괄적인 디자인을 실현한다.

제안 방법

• 혼합 주도 공동 창작을 이론적 프레임워크로 삼아, GAN 기반 상호작용을 다섯 가지 패턴—탐색, 진화, 조건 설정, 재작성, 스타일 조정—으로 매핑한다.
• 잠재공간 보간 및 분리 기법(예: 인지 경로 길이, 선형 가분성)을 활용하여 생성된 패션 디자인의 상호작용적 탐색과 의미적 편집을 가능하게 한다.
• 텍스트, 스케치, 손실 기반 제약(예: 색상, 질감, 형태)을 통한 조건부 생성을 통합하여 디자이너가 고수준의 디자인 의도로 GAN 출력을 이끌 수 있도록 한다.
• 인간의 피드백에 기반해 GAN 가중치를 미세조정함으로써 AI가 공동 창작 과정에서 시간이 지남에 따라 행동을 적응시킬 수 있도록 하는 '재작성' 패턴을 제안한다.
• GANLab 및 상호작용 유전 알고리즘을 활용하여 고차원 잠재공간 탐색을 저해도 및 고해상도 디자인 환경에서 프로토타이핑하고 평가한다.
• 스타일 인식 모델을 통합하여 비지도 스타일 탐색과 조정을 가능하게 하며, 기계가 패션 미학을 어떻게 인식할 수 있는지 잠재적인 기계 기반 해석을 드러낼 수 있다.

Figure 1. We present the four primary interaction patterns Curating , Exploring , Evolving , and Conditioning we identified as part of our preliminary framework (Grabe et al . , 2022a ) . We suggest a fifth pattern, Rewriting , for discussion.

실험 결과

연구 질문

• RQ1 GAN이 단순한 일방적 생성을 넘어서 반복적이고 상호작용적인 공동 창작을 지원하도록 어떻게 구성할 수 있는가?
• RQ2 패션 디자인에서 의도적이고 인지적인 인간-AI 협업을 가능하게 하기 위한 알고리즘적 요구사항과 인터페이스 설계 요건은 무엇인가?
• RQ3 잠재공간의 엉킴 현상과 비선형 의미론 등 GAN 고유의 특성이 디자이너에게 실질적인 상호작용 패턴으로 어떻게 번역될 수 있는가?
• RQ4 공동 창작 과정에서 GAN이 어떻게 조정될 수 있는가(예: 가중치 업데이트를 통해)? 이는 디자이너의 선호도를 반영하고 시간이 지남에 따라 진화하는가?
• RQ5 GAN 기반 공동 창작 시스템은 신체 형태와 문화적 표현 측면에서 어떻게 다양성과 포용성을 지원할 수 있는가?

주요 결과

• 이 연구는 GAN 기반 패션 디자인에서 인간-AI 협업을 체계화하는 다섯 가지 상이한 상호작용 패턴—탐색, 진화, 조건 설정, 재작성, 스타일 조정—을 규명하였다.
• 잠재공간 보간 및 분리 기법은 인지 경로를 통해 디자이너가 패션 디자인을 탐색하고 조작할 수 있도록 하여 상호작용적 탐색의 형태를 제공한다.
• 인간의 피드백에 기반해 GAN 가중치를 업데이트하는 '재작성' 패턴은 AI가 디자이너의 입력을 시간이 지남에 따라 학습함으로써 새로운 공동 창작 방식을 도입한다.
• 텍스트, 스케치, 또는 손실 함수를 통한 조건부 생성은 고수준의 디자인 제약을 가능하게 하지만, 반복적 피드백 없이 일방적 조건 설정에 국한되어 있어 한계가 있다.
• 비지도 스타일 인식 모델을 활용한 스타일 조정는 기계 기반의 패션 해석을 드러내며, 새로운 형태의 AI 기반 미학 이해를 가능하게 한다.
• 연구는 특히 실루엣과 신체 형태 표현에서의 데이터 편향을 해결할 중요성을 강조하며, 다양하고 포용적인 디자인 결과를 확보하기 위해 필수적임을 밝혔다.