[논문 리뷰] Ups and Downs: Modeling the Visual Evolution of Fashion Trends with One-Class Collaborative Filtering

Ruining He, Julian McAuley|arXiv (Cornell University)|2016. 02. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 203

한 줄 요약

이 논문은 딥 CNN 시각 특징, epoch 기반 패션 진화, 경량 비시각적 다이나믹스를 베이지안 개인화 순위(BPR) 프레임워크 내에서 통합하여 패션 추천을 위한 시간적으로 진화하는 시각 인지 일대 다수 협업 필터링 모델을 개발한다.

ABSTRACT

Building a successful recommender system depends on understanding both the dimensions of people's preferences as well as their dynamics. In certain domains, such as fashion, modeling such preferences can be incredibly difficult, due to the need to simultaneously model the visual appearance of products as well as their evolution over time. The subtle semantics and non-linear dynamics of fashion evolution raise unique challenges especially considering the sparsity and large scale of the underlying datasets. In this paper we build novel models for the One-Class Collaborative Filtering setting, where our goal is to estimate users' fashion-aware personalized ranking functions based on their past feedback. To uncover the complex and evolving visual factors that people consider when evaluating products, our method combines high-level visual features extracted from a deep convolutional neural network, users' past feedback, as well as evolving trends within the community. Experimentally we evaluate our method on two large real-world datasets from Amazon.com, where we show it to outperform state-of-the-art personalized ranking measures, and also use it to visualize the high-level fashion trends across the 11-year span of our dataset.

연구 동기 및 목표

• 암묵적 피드백(구매)으로부터 사용자의 패션 인지 개인화 순위를 모델링한다.
• 시간에 따라 진화하는 패션 선택을 이끄는 시각적 요인을 포착한다.
• 더 나은 추천 및 해석을 위해 시각적 진화와 비시각적 시간적 다이내믹스를 구분한다.
• 희소하고 롱테일 아이템이 많은 대형 패션 카탈로그에서도 확장 가능한 학습을 가능하게 한다.

제안 방법

• Extend matrix factorization with visual interaction: x_hat = alpha + beta_u + beta_i + <gamma_u, gamma_i> + <theta_u, theta_i>.
• Embed high-dimensional CNN image features f_i into a K'-dimensional visual space via E: theta_i = E f_i.
• Model temporal evolution through time-dependent components: E(t) = E + Delta_E(t); theta_i(t) = E(t) f_i and theta_u(t) as needed.
• Introduce temporal weighting and epoch-based segmentation to capture non-linear fashion shifts: theta_i(t) = E f_i ⊙ w(t) + Delta_E(t) f_i, and epoch-specific parameters Theta_ep.
• Incorporate non-visual temporal dynamics with beta_i(t) and beta_{C_i}(t) to separate visual from non-visual effects.
• Optimize with Bayesian Personalized Ranking (BPR) and a coordinate ascent procedure that alternates parameter fitting with fashion epoch segmentation Lambda.

실험 결과

연구 질문

• RQ1 시각적 외관과 그 시간적 진화를 한 클래스 협업 필터링 프레임워크에 어떻게 통합할 수 있는가?
• RQ2 에폭 기반 세분화가 고정 시간 모델에 비해 시간에 따른 비선형 패션 다이나믹스를 더 잘 캡처할 수 있는가?
• RQ3 가벼운 비시각적 시간적 다이나믹스를 추가하는 것이 예측 성능과 해석 가능성에 미치는 영향은 무엇인가?
• RQ4 실제 패션 데이터셋에서 시각 정보를 활용한 모델이 워밍/콜드 스타트 설정에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 TVBPR 계열은 두 개의 대형 Amazon Women’s and Men’s Clothing 데이터 세트에서 최첨단 개인화 순위 방법을 능가한다.
• 에폭 기반 세분화는 고정 매개변수 시간 모델보다 비선형 패션 진화를 더 잘 포착한다.
• 임베딩 행렬을 통한 딥 CNN의 시각 특징 도입은 희소하고 롱테일 아이템 환경에서 추천 품질을 향상시킨다.
• 인구 수준의 시간 역학(패션 트렌드)은 개인화된 순위에 상당한 도움을 주며, 각 사용자별 드리프트는 해당 데이터에서 덜 영향력이 큰 편이다.
• 이 모델은 11년에 걸친 학습된 패션 트렌드를 시각화하는 것을 지원하여 복잡하고 비선형적인 시각 진화를 보여준다.