[논문 리뷰] Visually-Aware Fashion Recommendation and Design with Generative Image Models

Wang-Cheng Kang, Fang Chen외 2명|arXiv (Cornell University)|2017. 11. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 32

한 줄 요약

이 논문은 시각적 특징을 고려한 종단간 패션 추천 시스템을 제안하며, 시아모닉 컨volution 네트워크(Siamese CNNs)를 사용해 이미지 표현과 사용자 선호도를 동시에 학습함으로써 최신 추천 성능을 달성한다. 또한 GAN 기반 생성기로 개인화된 새로운 패션 아이템을 사용자 취향에 맞게 합성함으로써 정확한 추천과 생성적 디자인을 모두 가능하게 한다.

ABSTRACT

Building effective recommender systems for domains like fashion is challenging due to the high level of subjectivity and the semantic complexity of the features involved (i.e., fashion styles). Recent work has shown that approaches to `visual' recommendation (e.g.~clothing, art, etc.) can be made more accurate by incorporating visual signals directly into the recommendation objective, using `off-the-shelf' feature representations derived from deep networks. Here, we seek to extend this contribution by showing that recommendation performance can be significantly improved by learning `fashion aware' image representations directly, i.e., by training the image representation (from the pixel level) and the recommender system jointly; this contribution is related to recent work using Siamese CNNs, though we are able to show improvements over state-of-the-art recommendation techniques such as BPR and variants that make use of pre-trained visual features. Furthermore, we show that our model can be used \emph{generatively}, i.e., given a user and a product category, we can generate new images (i.e., clothing items) that are most consistent with their personal taste. This represents a first step towards building systems that go beyond recommending existing items from a product corpus, but which can be used to suggest styles and aid the design of new products.

연구 동기 및 목표

• 추천 시스템에서 주관적이고 의미적으로 복잡한 패션 선호도 문제를 해결한다.
• 사전 훈련된 이미지 특징에 의존하는 것 대신, 시각적 표현과 사용자 선호도를 동시에 학습함으로써 추천 정확도를 향상시킨다.
• 사용자 선호도에 조건화된 생성 모델을 통해 개인화된 패션 디자인을 생성할 수 있도록 한다.
• 예측과 콘텐츠 생성을 모두 지원하는 통합 프레임워크를 통해 추천과 디자인 간 격차를 메운다.

제안 방법

• 사용자별 선호도 점수를 측정하기 위해, 구매한 항목과 비구매 항목 간의 이미지 쌍을 비교하는 시아모닉 컨볼루션 네트워크(Siamese CNN) 아키텍처를 훈련한다. 이때 픽셀 수준의 이미지 특징를 사용한다.
• 순서 기반 개인화 랭킹(Bayesian Personalized Ranking, BPR)-스타일 목적함수를 최적화하여 쌍별 선호도 순위를 극대화한다.
• 패션 이미지의 분포를 학습하고 새로운 실제적인 의류 아이템을 생성하기 위해 생성적 적대적 네트워크(GAN)를 통합한다.
• 사용자 임bedding과 제품 카테고리를 조건으로 하여 개인화된 패션 디자인을 생성하는 GAN 생성 과정을 조정한다.
• 각 사용자의 개인화된 목적함수 값을 극대화하는 잠재 코드를 찾기 위해 활성도 최적화 유사 최적화 기법을 적용한다.
• 예를 들어 L1 거리 기반 반복 최적화를 통해 기존 프로토타입을 수정하고 사용자에게 맞게 개선된 변형을 생성한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 시각적 특징를 사용하는 방법보다 종단간 시각적 표현과 사용자 선호도 학습이 패션 추천에서 더 우수한 성능을 내는가?
• RQ2 사용자 선호도에 조건화된 생성 모델이 얼마나 자연스럽고 개인화된 패션 디자인을 생성할 수 있는가?
• RQ3 시스템이 사용자 취향에 부합하면서도 시각적으로 현실적인 새로운 패션 아이템을 얼마나 효과적으로 생성하는가?
• RQ4 사용자 선호도 일치를 유지하면서도 스타일 수정을 통해 기존 패션 아이템을 반복적으로 향상시킬 수 있는가?

주요 결과

• 제안된 종단간 모델은 AUC로 측정된 추천 정확도에서 사전 훈련된 시각적 특징를 사용하는 BPR 및 BPR 변종을 뛰어넘는 최신 성능을 달성한다.
• GAN 기반 생성 구성 요소는 훈련 코퍼스 내 기존 항목보다 훨씬 높은 개인화된 목적함수 값을 가진 이미지를 생성한다.
• 생성된 이미지는 현실적이며 다양하며 훈련 데이터와는 스타일적으로 구별되므로, 사용자 중심의 패션 선호도를 효과적으로 반영한 것으로 나타났다.
• 사용자별 프로토타입 최적화로 선호도 점수가 크게 향상되었으며, 색상 변경, 소매 길이 조정, 찢어짐 효과 등 다양한 수정이 이루어졌다.
• 초기 설정에서 η=1이 선호도 점수와 이미지 품질 간 최적의 균형을 이끌어내어 실험 전반에서 최적의 설정으로 확인되었다.
• 정성적 결과에서는 생성된 이미지가 시각적으로 타당하며 일관된 스타일에 속하지만, 어떤 훈련 예시와도 다를 바 있다.