[논문 리뷰] Style2Vec: Representation Learning for Fashion Items from Style Sets

Hanbit Lee, Jinseok Seol외 1명|arXiv (Cornell University)|2017. 08. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 29

한 줄 요약

Style2Vec는 사용자가 만든 스타일 세트—일련의 조화를 이룬 의류 아이템들—를 활용하여 패션 아이템 스타일을 모델링하는 새로운 표현 학습 프레임워크를 제안한다. 이는 워드 임베딩에 영감을 받은 시아모이스 유사 컨볼루션 네트워크 아키텍처를 사용한다. 완전한 옷차림 내에서 함께 나타나는 아이템들에 기반해 훈련함으로써 쌍방향으로 공구매된 아이템을 기반으로 훈련하는 것보다 더 풍부하고 맥락 인식 능력이 뛰어난 스타일 특징을 학습한다. 이는 스타일 분류 및 유사성 작업에서 기존 방법들을 크게 앞서는 성능을 보인다.

ABSTRACT

With the rapid growth of online fashion market, demand for effective fashion recommendation systems has never been greater. In fashion recommendation, the ability to find items that goes well with a few other items based on style is more important than picking a single item based on the user's entire purchase history. Since the same user may have purchased dress suits in one month and casual denims in another, it is impossible to learn the latent style features of those items using only the user ratings. If we were able to represent the style features of fashion items in a reasonable way, we will be able to recommend new items that conform to some small subset of pre-purchased items that make up a coherent style set. We propose Style2Vec, a vector representation model for fashion items. Based on the intuition of distributional semantics used in word embeddings, Style2Vec learns the representation of a fashion item using other items in matching outfits as context. Two different convolutional neural networks are trained to maximize the probability of item co-occurrences. For evaluation, a fashion analogy test is conducted to show that the resulting representation connotes diverse fashion related semantics like shapes, colors, patterns and even latent styles. We also perform style classification using Style2Vec features and show that our method outperforms other baselines.

연구 동기 및 목표

• 희소한 사용자 평가에 의존하고 미세한 스타일 관계를 포착하지 못하는 전통적 추천 시스템의 한계를 해결하기 위해.
• 세밀한 패션 스타일 의미를 모델링하는 데에 한계가 있는 수작업으로 만든 속성과 일반적인 이미지 특징의 단점을 극복하기 위해.
• 사용자가 구성한 완전한 스타일 세트(옷차림) 내에서의 동시 발생 패턴을 모델링하여 의미 있고 맥락에 민감한 스타일 표현을 학습하기 위해.
• 사용자가 미리 구매한 일부 아이템과 공통된 스타일을 가진 아이템을 추천할 수 있도록 패션 추천을 향상시키기 위해.
• 세 개 이상의 아이템으로 이루어진 세트에서 학습하는 것이, 쌍방향 학습보다 더 효과적으로 통합된 스타일 의미를 포착할 수 있음을 입증하기 위해.

제안 방법

• Word2Vec의 분포적 의미 원리를 패션 아이템에 적용하여, 각 스타일 세트를 '문장'으로, 개별 아이템을 '단어'로 간주한다.
• 목표 아이템과 스타일 세트 내의 맥락 아이템을 위한 두 개의 별도된 VGG 스타일 컨볼루션 신경망을 사용한다.
• 동일한 스타일 세트 내에서 목표 아이템 임베딩과 맥락 아이템 임베딩 평균값 간의 유사도를 최대화하기 위해 대비 손실 함수를 사용한다.
• 엔드 투 엔드로 네트워크를 훈련시켜, 색상, 무늬, 형태, 잠재적 스타일과 같은 공유된 스타일 특징을 반영하는 아이템 임베딩을 학습한다.
• CNN의 불변성 특성을 활용하여, 이미지 입력을 공통된 임베딩 공간으로 투영함으로써 희귀 아이템에 대해서도 강력한 특징을 학습한다.
• 훈련된 임베딩 네트워크를 스타일 분류 및 패션 유사성 테스트와 같은 후속 작업에 적용한다.

실험 결과

연구 질문

• RQ1 사용자가 만든 스타일 세트에서 훈련된 표현 학습 모델이 색상, 무늬, 형태, 잠재적 스타일과 같은 다양한 패션 의미를 효과적으로 포착할 수 있는가?
• RQ2 세 개 이상의 아이템을 포함한 완전한 스타일 세트에서 학습하는 것이, 두 개의 아이템 간 동시 발생 패턴에서의 학습보다 더 나은 스타일 표현을 제공하는가?
• RQ3 제안된 Style2Vec 모델은 Siamese CNN 및 DCGAN과 같은 최신 기술과 비교해 스타일 의미를 얼마나 잘 포착하는가?
• RQ4 학습된 아이템 임베딩이 전체 옷차림의 스타일 분류와 같은 후속 작업에 효과적으로 활용될 수 있는가?
• RQ5 학습된 임베딩이 유추 및 시각화 작업을 통해 인간이 이해할 수 있는 패션 개념을 어느 정도 반영하는가?

주요 결과

• Style2Vec는 스타일 분류 정확도 61.13%를 달성하여 Siamese CNN(51.14%), DCGAN(54.33%), 쌍방향 데이터로 훈련된 Style2Vec(54.99%)를 크게 앞서며 성능을 냈다.
• DCGAN조차도 최신 기술로 평가되는 모델임에도 불구하고, Style2Vec의 성능이 뛰어나, 맥락 인식 능력이 있는 세트 수준의 학습이 단독 이미지 특징보다 스타일을 더 잘 포착한다는 것을 시사한다.
• 쌍방향 버전의 Style2Vec는 전체 모델보다 성능이 열 劣하므로, 세 개 이상의 아이템을 포함한 세트 내에서의 관계 학습이 쌍방향 학습보다 더 효과적임을 입증한다.
• 패션 유사성 테스트 결과, 학습된 임베딩이 색상, 무늬, 형태, 잠재적 스타일과 같은 다양한 의미적 특징을 포착하고 있음을 확인하였으며, 성공적인 유추 추론이 가능했다.
• 임베딩 공간의 시각화 결과, 스타일 유형별로 아이템이 의미 있는 군집을 이룬다. 이는 모델이 의미적으로 일관되고 해석 가능한 표현을 학습하고 있음을 보여준다.
• CNN의 인덕티브 바이어스 덕분에 희귀 아이템에 대해서도 의미 있는 표현을 효과적으로 학습하여, 저빈도 아이템 동시 발생에 기인한 데이터 희소성 문제를 극복한다.