[論文レビュー] Ups and Downs: Modeling the Visual Evolution of Fashion Trends with One-Class Collaborative Filtering

Ruining He, Julian McAuley|arXiv (Cornell University)|Feb 4, 2016

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 203

ひとこと要約

本論文は、深層CNNの視覚特徴、エポックベースのファッション進化、および軽量な非視覚ダイナミクスを組み込み、時間的に進化する視覚情報を考慮したワン・クラス協調フィルタリングモデルをファッション推奨問題に適用する。

ABSTRACT

Building a successful recommender system depends on understanding both the dimensions of people's preferences as well as their dynamics. In certain domains, such as fashion, modeling such preferences can be incredibly difficult, due to the need to simultaneously model the visual appearance of products as well as their evolution over time. The subtle semantics and non-linear dynamics of fashion evolution raise unique challenges especially considering the sparsity and large scale of the underlying datasets. In this paper we build novel models for the One-Class Collaborative Filtering setting, where our goal is to estimate users' fashion-aware personalized ranking functions based on their past feedback. To uncover the complex and evolving visual factors that people consider when evaluating products, our method combines high-level visual features extracted from a deep convolutional neural network, users' past feedback, as well as evolving trends within the community. Experimentally we evaluate our method on two large real-world datasets from Amazon.com, where we show it to outperform state-of-the-art personalized ranking measures, and also use it to visualize the high-level fashion trends across the 11-year span of our dataset.

研究の動機と目的

• 暗黙的フィードバック（購入）から、ファッションを意識した個別のランキングをモデル化する。
• 時間とともに変化する視覚的要因がファッション選択に与える影響を捉える。
• 視覚的進化と非視覚的時系列ダイナミクスを分離し、推奨精度と解釈性を向上させる。
• 希薄でロングテールなアイテムを含む大規模なファッションカタログに対して、スケーラブルな訓練を実現する。

提案手法

• 視覚的相互作用を組み込んだ行列分解の拡張: x_hat = alpha + beta_u + beta_i + <gamma_u, gamma_i> + <theta_u, theta_i>.
• 高次元のCNN画像特徴 f_i を E を介して K' 次元の視覚空間に埋め込む: theta_i = E f_i.
• 時間依存成分を用いて時間発展をモデル化: E(t) = E + Delta_E(t); theta_i(t) = E(t) f_i と必要に応じて theta_u(t)。
• 非線形なファッションの変化を捉えるために時系列重み付けとエポックベースのセグメンテーションを導入: theta_i(t) = E f_i ⊙ w(t) + Delta_E(t) f_i, and epoch-specific parameters Theta_ep.
• 視覚的でない効果を分離するために beta_i(t) および beta_{C_i}(t) を用いた非視覚的時系列ダイナミクスを組み込む。
• Bayesian Personalized Ranking (BPR) を用いて最適化し、パラメータ適合とファッションエポックセグメンテーション Lambda を交互に行う座標上昇法。

実験結果

リサーチクエスチョン

• RQ1 視覚的外観とその時間的進化を、ワン・クラス協調フィルタリングの枠組みにどのように取り入れることができるか。
• RQ2 固定した時間モデルと比べて、エポックベースのセグメンテーションは時間とともに現れる非線形のファッションダイナミクスの把握を向上させるか。
• RQ3 軽量な非視覚的時系列ダイナミクスの追加が予測性能と解釈性に与える影響はどの程度か。
• RQ4 実世界のファッションデータセットにおける、視覚情報を取り入れたモデルのウォームスタートおよびコールドスタート時の性能はどうなるか。

主な発見

• 提案されたTVBPRファミリは、2つの大規模なAmazonのWomen’s and Men’s Clothingデータセット上で、最新の個別ランキング手法を上回る。
• エポックベースのセグメンテーションは、固定パラメータの時刻モデルよりも非線形のファッション進化をよりうまく捉える。
• 埋め込みを介して深層CNNの視覚特徴を取り入れることで、希薄でロングテールなアイテム設定における推奨品質が向上する。
• 集団レベルの時系列ダイナミクス（ファッションの流行）は個人別ランキングを大幅に支援し、各ユーザーのドリフトはデータセットではそれほど影響力が大きくない。
• 本モデルは11年間に渡る学習済みファッショントレンドの可視化をサポートし、複雑で非線形成長な視覚的進化を示す。