[논문 리뷰] Garment Design with Generative Adversarial Networks

Chenxi Yuan, Mohsen Moghaddam|arXiv (Cornell University)|2020. 07. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 분류 손실를 복원 및 적대적 손실에서 분리하여 속성 수준의 텍스처 편집을 가능하게 하는 수정된 생성 적대 신경망인 Design-AttGAN을 제안한다. 이 모델은 소매 길이, 색상, 무늬, 의류 유형(예: 티셔츠에서 조끼로) 등의 속성을 편집하는데 성공적으로 기여하며, 특히 의류 유형의 균형 잡힌 서브셋으로 재학습한 후 패션 데이터에서 원래 AttGAN보다 뛰어난 성능을 보였다.

ABSTRACT

The designers' tendency to adhere to a specific mental set and heavy emotional investment in their initial ideas often hinder their ability to innovate during the design thinking and ideation process. In the fashion industry, in particular, the growing diversity of customers' needs, the intense global competition, and the shrinking time-to-market (a.k.a., "fast fashion") further exacerbate this challenge for designers. Recent advances in deep generative models have created new possibilities to overcome the cognitive obstacles of designers through automated generation and/or editing of design concepts. This paper explores the capabilities of generative adversarial networks (GAN) for automated attribute-level editing of design concepts. Specifically, attribute GAN (AttGAN)---a generative model proven successful for attribute editing of human faces---is utilized for automated editing of the visual attributes of garments and tested on a large fashion dataset. The experiments support the hypothesized potentials of GAN for attribute-level editing of design concepts, and underscore several key limitations and research questions to be addressed in future work.

연구 동기 및 목표

• 인지적 고정관념과 패스트 패션 압박으로 인한 디자인 혁신의 한계를 해결하기 위해.
• 원래 얼굴 속성 편집을 위해 설계된 AttGAN 모델을 패션 디자인의 의류 이미지 편집에 적응시키기 위해.
• 손실 함수 아키텍처를 수정함으로써 AttGAN의 패션 데이터에서의 성능 저하 문제를 해결하기 위해.
• 패션 속성 데이터셋의 클래스 불균형이 GAN 기반 편집 성능에 미치는 영향을 조사하기 위해.
• 복잡한 시각적 속성에 대한 의류의 속성 편집 안정성과 품질을 향상시키기 위해.

제안 방법

• 13,221장의 의류 이미지와 22개의 속성을 포함한 데이터셋으로 재학습하여 원래 AttGAN 프레임워크를 패션 이미지에 적응시켰다.
• 복원 및 적대적 손실에서 분류 손실($\mathcal{L}_{cls_{g}}$)을 분리하여 속성 편집 능력을 향상시켰다.
• 이미지 복원 품질과는 별개로 정확한 속성 예측을 우선시하는 수정된 손실 함수를 사용해 생성자 모델을 훈련시켰다.
• 소매 길이, 색상, 무늬, 의류 유형(예: 폴로, 조끼, 후드티) 등의 속성을 편집하기 위해 모델을 적용했다.
• 의류 유형 속성만 포함된 5,782장의 이미지로 구성된 좁은 데이터셋으로 재학습하여 클래스 불균형 문제를 완화시켰다.
• 학습 및 평가에 텐서플로우를 사용하고, Adam 옵timizer(배치 크기 32, 초기 학습률 0.0002)를 적용했다.

실험 결과

연구 질문

• RQ1 원래 AttGAN 모델은 의류 이미지의 속성 편집에 대해 수용 가능한 성능을 내며 효과적으로 적용될 수 있는가?
• RQ2 AttGAN이 인간 얼굴에서와 의류 의류에서의 성능 격차가 발생하는 원인은 무엇인가?
• RQ3 속성 편집 영역의 상대적 면적(예: 전체 소매 또는 칼라)이 패션 편집에서 GAN의 성능에 어떤 영향을 미치는가?
• RQ4 패션 속성 데이터셋의 클래스 불균형이 희귀 속성(예: '폴로', '조끼')을 학습하고 편집하는 데 모델의 능력을 저해하는가?
• RQ5 의류 유형의 균형 잡힌 서브셋으로 재학습하면 속성 편집 성능을 크게 향상시킬 수 있는가?

주요 결과

• 원래 AttGAN 모델은 의류 이미지에서 성능이 열악했으며, 특히 소매나 칼라와 같은 큰 영역의 변경에 대해 무늬 유지 및 정확한 속성 편집에 실패했다.
• 제안된 Design-AttGAN 모델은 분류 손실를 분리함으로써 원래 AttGAN보다 뚜렷이 뛰어난 성능을 보였으며, 이미지 세부 정보를 유지하면서도 더 나은 속성 편집이 가능했다.
• 색상(예: 빨강, 파랑), 소매 길이(짧음/긴), 무늬(예: 줄무늬) 등의 속성을 성공적으로 편집했으며, 결과적으로 시각적으로 타당한 결과를 도출했다.
• 원래 데이터셋에서 빈도가 낮아 '폴로' 속성을 학습하는 데 어려움을 겪었으며, 이는 클래스 불균형에 대한 민감성을 보여주었다.
• 의류 유형 속성만 포함된 좁은 데이터셋으로 재학습함으로써 해당 속성에 대한 성능이 뚜렷이 향상되었으며, 데이터 균형의 영향을 확인했다.
• 결과적으로 GAN은 패션 디자인 자동화 분야에 효과적으로 적용되기 위해 도메인 특화 적응—특히 손실 함수 설계에서—가 필요하다는 점을 입증했다.