[論文レビュー] FashionNet: Personalized Outfit Recommendation with Deep Neural Network

Tong He, Yang Hu|arXiv (Cornell University)|Oct 4, 2018

3D Shape Modeling and Analysis参考文献 18被引用数 17

ひとこと要約

FashionNetは、2段階のトレーニング戦略を用いて、アイテムの相性とユーザーの好みを同時にモデル化することで、パーソナライズされたファッションコーディネートの推薦を実現する深層学習フレームワークを提案する。特徴抽出にはCNNを、相性スコアリングには全結合ネットワークを用い、ファインチューニングによりパーソナライズ化を実現している。実験の結果、ベースラインアーキテクチャ比で平均NDCGが14.9%向上した。

ABSTRACT

With the rapid growth of fashion-focused social networks and online shopping, intelligent fashion recommendation is now in great need. We design algorithms which automatically suggest users outfits (e.g. a shirt, together with a skirt and a pair of high-heel shoes), that fit their personal fashion preferences. Recommending sets, each of which is composed of multiple interacted items, is relatively new to recommender systems, which usually recommend individual items to users. We explore the use of deep networks for this challenging task. Our system, dubbed FashionNet, consists of two components, a feature network for feature extraction and a matching network for compatibility computation. The former is achieved through a deep convolutional network. And for the latter, we adopt a multi-layer fully-connected network structure. We design and compare three alternative architectures for FashionNet. To achieve personalized recommendation, we develop a two-stage training strategy, which uses the fine-tuning technique to transfer a general compatibility model to a model that embeds personal preference. Experiments on a large scale data set collected from a popular fashion-focused social network validate the effectiveness of the proposed networks.

研究の動機と目的

• 複数の互換性のあるアイテムから構成されるパーソナライズされたファッションコーディネートを推薦するという課題に対処すること。
• 伝統的な協調フィルタリングの限界を克服するため、深層ニューラルネットワークを用いてマルチアイテムコーディネートにおけるアイテムの相性をモデリングすること。
• ファインチューニングを用いて一般化された相性モデルを個々のユーザーの好みに適応させることで、パーソナライズ化を実現すること。
• コーディネート推薦における共同表現学習と相性モデリングのための異なるアーキテクチャ設計を比較すること。
• 大規模な実世界のファッションデータセット上で、提案手法の有効性を検証すること。

提案手法

• 2段階のトレーニング戦略を採用：まず全ユーザーのデータで一般化された相性モデルを事前学習し、次にユーザー固有のデータでファインチューニングする。
• ファッションアイテムの画像から意味的埋め込みを抽出するために、深層畳み込みニューラルネットワーク（CNN）を特徴ネットワークとして使用する。
• 複数層の全結合ネットワークをマッチングネットワークとして用い、コーディネート内のアイテム特徴間の相性スコアを計算する。
• 3つのアーキテクチャを検討：FashionNet A（特徴ネットワークとマッチングネットワークを共有）、FashionNet B（マッチングの前に特徴を連結）、FashionNet C（ペアワイズの相性モデリング）。
• 2段階目の段階でファインチューニングを適用し、一般化されたモデルを個々のユーザーの好みに適応させる。ネットワークの全層または部分的なファインチューニングのアブレーションを実施。
• 評価指標としてNDCG@kとトップ-kの正例コーディネート数を用い、Polyvoreに基づくデータセットで評価を行う。

実験結果

リサーチクエスチョン

• RQ1 特徴学習と相性モデリングを組み合わせるための異なるアーキテクチャ設計が、コーディネート推薦のパフォーマンスにどのように影響を与えるか？
• RQ2 ファインチューニングを用いた2段階のトレーニング戦略が、一般化された相性モデルを個々のユーザーに効果的にパーソナライズできるか？
• RQ3 マッチング層のファインチューニングに加えて、ユーザー固有の特徴表現を学習することで、推薦精度が向上するか？
• RQ4 提案手法のパフォーマンスは、NDCGおよびトップ-k推薦のリコール指標において、ベースライン手法と比較してどのように差がつくか？
• RQ5 高次相性モデリング（例：結合的 vs. ペアワイズ）が推薦品質に与える影響は何か？

主な発見

• ペアワイズ相性をモデリングするFashionNet Cが、FashionNet BおよびAを上回り、ベースライン比で平均NDCGが14.9%向上した。
• 2段階のトレーニング戦略はパフォーマンスを顕著に向上させ、全アーキテクチャにおいて第1段階から第2段階への向上が顕著に見られた。
• 特徴抽出器を含むネットワーク全体をファインチューニングする方が、マッチング層のみをファインチューニングするよりも優れた結果をもたらしたが、計算コストは高かった。
• 全層ファインチューニングと部分的ファインチューニングのパフォーマンス差は、ユーザー固有の特徴学習が推薦精度を向上させることを示している。
• FashionNet Aは、表現学習と相性学習の分離ができないため、性能が低かった。これは、これらのコンポONENTを分離することの利点を示している。
• 結果から、特に希少なユーザー・アイテム相互作用を扱う際、ファインチューニングを伴う深層学習がファッション分野におけるパーソナライズされたセット推薦に有効であることが示された。