[논문 리뷰] Predicting Next-Season Designs on High Fashion Runway

Yusan Lin, Hao Yang|arXiv (Cornell University)|2019. 07. 16.

Fashion and Cultural Textiles참고 문헌 17인용 수 5

한 줄 요약

이 논문은 32년에 걸친 패션 쇼 영상 자료를 바탕으로 다음 시즌의 고급 패션 런웨이 디자인을 예측하는 딥러닝 프레임워크를 제안한다. 시각적 자료에서 컬렉션 및 트렌드 임베딩을 학습하고 RNN/LSTM을 사용해 디자이너 스타일의 진화를 모델링함으로써, 평균 AUC 78.42% 및 개별 디자이너 기준 최대 95%의 성능을 달성하여 패션 트렌드 예측 분야에서 뛰어난 예측 성능을 입증한다.

ABSTRACT

Fashion is a large and fast-changing industry. Foreseeing the upcoming fashion trends is beneficial for fashion designers, consumers, and retailers. However, fashion trends are often perceived as unpredictable due to the enormous amount of factors involved into designers' subjectivity. In this paper, we propose a fashion trend prediction framework and design neural network models to leverage structured fashion runway show data, learn the fashion collection embedding, and further train RNN/LSTM models to capture the designers' style evolution. Our proposed framework consists of (1) a runway embedding learning model that uses fashion runway images to learn every season's collection embedding, and (2) a next-season fashion design prediction model that leverage the concept of designer style and trend to predict next-season design given designers. Through experiments on a collected dataset across 32 years of fashion shows, our framework can achieve the best performance of 78.42% AUC on average and 95% for an individual designer when predicting the next season's design.

연구 동기 및 목표

• 이력 런웨이 데이터를 기반으로 다음 시즌 디자인을 예측할 수 있는 정량적이고 대규모의 패션 트렌드 예측 시스템을 개발하기 위해.
• 패션 컬렉션 임베딩에 기반한 시퀀스 모델링을 통해 디자이너 스타일의 시간에 따른 진화를 모델링하기 위해.
• 런웨이 쇼 및 시즌 임베딩의 공동 학습을 통해 개인 디자이너 스타일과 더 넓은 업계 트렌드를 동시에 포착하기 위해.
• qualitative 트렌드 예측 방식을 초월하여, 데이터 기반, 확장 가능하고 정밀한 향후 패션 디자인 예측을 가능하게 하기 위해.

제안 방법

• 공동 작업 신경망이 런웨이 쇼의 디자이너 및 시즌을 이미지 세트에서 동시에 분류함으로써 런웨이 쇼 임베딩을 학습한다.
• 런웨이 임베딩 모델은 대비 손실을 사용한 시아모이드 유사 아키텍처를 활용해 이미지 세트에서 분류 가능한 시각적 표현을 학습한다.
• 각 패션 쇼의 컬렉션 임베딩은 훈련된 런웨이 임베딩 모델에서 추출되며, 이를 개별 디자이너별로 개인화된 RNN/LSTM 모델의 입력으로 사용한다.
• RNN/LSTM 모델은 디자이너 컬렉션의 시간적 패턴을 학습하고 코사인 유사도 스코어링을 통해 향후 디자인의 가능성도 예측한다.
• 다음 시즌 예측 작업을 최적화하기 위해 베이지안 개인화 순위(BPR) 손실을 사용하며, 진짜 다음 시즌 디자인을 무작위 음성 샘플보다 높게 순위 매긴다.
• 프레임워크는 검증 손실 수렴 기반의 조기 정지 기법을 사용한 Adam 옵timizer를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 패션 런웨이 컬렉션의 시각적 표현을 효과적으로 학습하여 디자이너 신원과 시즌 트렌드를 모두 포착할 수 있는가?
• RQ2 RNN/LSTM 모델이 다수의 시즌에 걸쳐 디자이너 스타일의 시간적 진화를 어느 정도 잘 포착할 수 있는가?
• RQ3 디자이너 특화 스타일과 매크로 트렌드 임베딩의 공동 모델링은 무작위 기준 대비 다음 시즌 디자인 예측 성능에 얼마나 기여하는가?
• RQ4 RNN과 LSTM 아키텍처 간의 패션 디자인 진행 모델링 성능 격차는 어느 정도인가?

주요 결과

• 제안된 프레임워크는 202명의 디자이너에 대해 평균 AUC 78.42%를 달성하였으며, 무작위 기준 50%보다 뚜렷이 높은 성능을 보였다.
• 개별 디자이너 기준으로는 최고 성능 모델이 95% AUC를 기록하여 최상위 수준의 디자이너에 대해 강력한 예측 능력을 보였다.
• LSTM 모델이 RNN보다 우수한 성능을 보였으며, 평균 AUC 78.42%를 기록한 반면 RNN은 78.40%를 기록했고, 최소 성능 면에서도 높은 수준(64.17% 대비 53.85%)을 보였다.
• 런웨이 임베딩 모델은 디자이너를 2.5%의 정확도로 구분할 수 있었으며, 이는 0.4% 기준 대비 뛰어난 성능이었고, 시즌 분류 성능도 50.25%(기준 50%)로 약간 향상되었다.
• 장기적인 시각적 시퀀스를 활용하고 스타일 및 트렌드 역학의 공동 모델링을 통해 패션 트렌드가 예측 가능하다는 점을 모델이 입증하였다.