[논문 리뷰] Fashioning with Networks: Neural Style Transfer to Design Clothes

Prutha Date, Ashwinkumar Ganesan외 1명|arXiv (Cornell University)|2017. 07. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 21

한 줄 요약

이 논문은 사용자의 옷장 이미지에서 패션 취향을 학습하고 콘텐츠 및 스타일 손실 최적화를 통해 사용자 맞춤형 의류를 생성함으로써 의류 디자인을 개인화하는 신경망 스타일 전이 파이프라인을 제안한다. 이 방법은 사용자가 정의한 의류 윤곽선에 여러 스타일 패턴을 효과적으로 전이하여 개인화되고 시각적으로 일관된 디자인을 생성하며, 개인의 취향을 반영한다.

ABSTRACT

Convolutional Neural Networks have been highly successful in performing a host of computer vision tasks such as object recognition, object detection, image segmentation and texture synthesis. In 2015, Gatys et. al [7] show how the style of a painter can be extracted from an image of the painting and applied to another normal photograph, thus recreating the photo in the style of the painter. The method has been successfully applied to a wide range of images and has since spawned multiple applications and mobile apps. In this paper, the neural style transfer algorithm is applied to fashion so as to synthesize new custom clothes. We construct an approach to personalize and generate new custom clothes based on a users preference and by learning the users fashion choices from a limited set of clothes from their closet. The approach is evaluated by analyzing the generated images of clothes and how well they align with the users fashion style.

연구 동기 및 목표

• 사용자의 고유한 스타일 선호도를 기반으로 새로운 의류 패턴을 생성하는 개인화된 패션 디자인 시스템을 개발하는 것.
• 검색 또는 추천을 넘어서 패션 개인화의 과제를 해결하기 위해 새로운, 사용자 전용의 의류 디자인을 합성하는 것.
• 신경망 스타일 전이가 복잡한 패션 스타일을 효과적으로 전이하면서도 의류 구조와 사용자 선호도를 유지할 수 있는지 평가하는 것.
• 다중 스타일 입력이 생성된 의류 디자인의 품질과 일관성에 미치는 영향을 탐구하는 것.

제안 방법

• 시스템은 사전 훈련된 19층 VGG-Net을 사용하여 제한된 수의 옷장 이미지에서 특징을 추출함으로써 사용자 선호도를 먼저 학습한다.
• 사용자가 제공한 의류 윤곽선(UCO)이 콘텐츠 이미지로 사용되며, 스타일 특징은 사용자가 제공한 여러 장의 의류 이미지에서 추출된다.
• 이 방법은 UCO와 생성된 이미지의 특징 맵 간의 L2 거리(콘텐츠 손실)와 스타일 이미지 및 생성된 이미지 간의 그람 행렬 거리(스타일 손실)를 조합한 총 손실 함수를 사용하여 생성된 이미지를 최적화한다.
• 콘텐츠와 스타일에 각각 적응적인 가중치 α와 β를 사용하여 LBFGS 최적화를 통해 손실를 최소화한다.
• 후처리 단계에서 UCO의 마스크를 적용하여 의류를 분리하고 배경을 제거함으로써 최종 디자인을 생성한다.
• 생성된 이미지의 속성 조합을 분류하기 위해 VGG-16 특징을 기반으로 SVM을 훈련시켜 스타일 전이 성공 여부를 평가한다.

실험 결과

연구 질문

• RQ1 소량의 사용자 제공 옷장 이미지만으로 신경망 스타일 전이가 의류 디자인을 효과적으로 개인화할 수 있는가?
• RQ2 다수의 스타일 이미지를 사용할 경우 생성된 의류 디자인의 일관성과 식별 가능성은 어떻게 영향을 받는가?
• RQ3 분류기가 생성된 의류 이미지에서 의도된 스타일 속성을 탐지할 수 있는 정도는 어느 정도이며, 이는 성공적인 스타일 전이를 나타내는가?
• RQ4 스타일 입력의 수를 늘릴수록 생성된 디자인의 품질이 떨어지는가? 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• 생성된 이미지의 속성 분류에 대한 F1-스코어가 기준 수준을 지속적으로 초과하여, 사용자가 제공한 이미지에서 스타일 속성이 성공적으로 전이된 것으로 나타났다.
• 훈련 데이터 내의 동일한 스타일을 사용하여 이미지를 생성한 경우, 별도의 테스트 이미지를 사용한 경우보다 F1-스코어가 높았으며, 이는 익숙한 스타일 패턴에 대해 더 우수한 일반화 능력을 보였음을 시사한다.
• 생성에 사용된 스타일 이미지의 수를 늘릴수록 F1-스코어가 감소하여, 너무 많은 스타일 함수가 결과 품질과 일관성을 떨어뜨린다는 것을 시사한다.
• 동일한 콘텐츠 이미지에 여러 개의 다른 스타일 이미지(예: 다양한 니트)를 적용하면 시각적으로 구분 가능하고 자연스러운 혼합 디자인이 생성되었으며, 이는 효과적인 스타일 융합을 보여준다.
• 양적 및 질적 평가를 통해 사용자의 패션 감각을 반영하는 새로운 개인화된 의류 디자인이 성공적으로 생성되었으며, 이는 시스템의 유효성을 검증한 것이다.