[論文レビュー] Style2Vec: Representation Learning for Fashion Items from Style Sets

Hanbit Lee, Jinseok Seol+1 more|arXiv (Cornell University)|Aug 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 29

ひとこと要約

Style2Vecは、ユーザーが作成したスタイルセット（コーディネートされた衣料品の集合）を活用して、単語埋め込みにインspiredされたシアンプル型のCNNアーキテクチャを用いてファッションアイテムのスタイルをモデル化する、新しい表現学習フレームワークを提案する。完全なコーディネート内の共起アイテムを対象に学習することで、ペairワイズの共購入ではなく、文脈に配慮したスタイル特徴を学習する。このアプローチにより、スタイル分類およびアナロジー課題において、既存手法を著しく上回る性能を達成する。

ABSTRACT

With the rapid growth of online fashion market, demand for effective fashion recommendation systems has never been greater. In fashion recommendation, the ability to find items that goes well with a few other items based on style is more important than picking a single item based on the user's entire purchase history. Since the same user may have purchased dress suits in one month and casual denims in another, it is impossible to learn the latent style features of those items using only the user ratings. If we were able to represent the style features of fashion items in a reasonable way, we will be able to recommend new items that conform to some small subset of pre-purchased items that make up a coherent style set. We propose Style2Vec, a vector representation model for fashion items. Based on the intuition of distributional semantics used in word embeddings, Style2Vec learns the representation of a fashion item using other items in matching outfits as context. Two different convolutional neural networks are trained to maximize the probability of item co-occurrences. For evaluation, a fashion analogy test is conducted to show that the resulting representation connotes diverse fashion related semantics like shapes, colors, patterns and even latent styles. We also perform style classification using Style2Vec features and show that our method outperforms other baselines.

研究の動機と目的

• 従来の推薦システムが疎なユーザー評価に依存し、繊細なスタイル関係を捉えられないという限界を解決すること。
• 手作業で作成された属性や一般的な画像特徴が、繊細なファッションスタイルの意味をモデル化するのには不十分であるという課題を克服すること。
• 完全でユーザーがカスタムしたスタイルセット（コーディネート）内の共起パターンをモデル化することで、意味的で文脈に配慮したスタイル表現を学習すること。
• 事前に購入したアイテムの小さなサブセットに基づき、共通するスタイルに一致するアイテムを推薦できるように、ファッション推薦を向上させること。
• 3つ以上のアイテムからなるセットからの学習が、ペアワイズ学習よりもホリスティックなスタイル意味を捉えるのに効果的であることを示すこと。

提案手法

• Word2Vecの分布的意味論の原則をファッションアイテムに応用し、各スタイルセットを「文」とし、個々のアイテムを「語」のように扱う。
• ターゲットアイテム用と文脈アイテム用の2つの別々のVGGスタイルの畳み込みニューラルネットワークを採用する。
• 同じスタイルセット内でのターゲットアイテムの埋め込みと、文脈アイテムの埋め込みの平均値との類似度を最大化するように、コントラスト損失関数を用いる。
• エンドツーエンドでネットワークを学習させ、色、パターン、形状、および潜在的スタイルといった共有されたスタイル的特徴を反映するアイテム埋め込みを学習する。
• CNNの不変性を活用して、画像入力を共有の埋め込み空間に投影することで、まれなアイテムに対しても頑健な特徴を学習する。
• 学習済みの埋め込みネットワークを、スタイル分類やファッションアナロジーのテストといった下流タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが作成したスタイルセットから学習する表現学習モデルは、色、パターン、形状、および潜在的スタイルといった多様なファッション意味を効果的に捉えることができるか？
• RQ2 2つ以上のアイテムを含む完全なスタイルセットからの学習が、ペアワイズのアイテム共起からの学習よりも優れたスタイル表現をもたらすか？
• RQ3 提案手法であるStyle2Vecは、Siamese CNN や DCGAN といった最先端の手法と比較して、スタイル意味をよりよく捉えられるか？
• RQ4 学習されたアイテム埋め込みは、全体のコーディネートのスタイル分類といった下流タスクで効果的に利用できるか？
• RQ5 学習された埋め込みは、アナロジーおよび可視化タスクによる検証を通じて、人間が理解可能なファッション概念をどの程度反映しているか？

主な発見

• Style2Vecは、スタイル分類の正確度が61.13%を達成し、Siamese CNN（51.14%）、DCGAN（54.33%）、およびペアワイズデータで学習したStyle2Vec（54.99%）を著しく上回った。
• DCGANですら最先端の表現学習モデルであるにもかかわらず、Style2Vecの性能が優れていることから、文脈に配慮したセットレベルの学習が、単体の画像特徴よりもスタイルをよりよく捉えられることを示している。
• ペアワイズバージョンのStyle2Vecは、完全なモデルに比べて性能が劣っており、3つ以上のアイテムを含むセット内の関係性を学習することが、ペアワイズ学習よりも効果的であることを実証した。
• ファッションアナロジーのテスト結果から、学習された埋め込みが色、パターン、形状、および潜在的スタイルといった多様な意味的特徴を捉えていることが確認され、成功した類推的推論が得られた。
• 埋め込み空間の可視化結果から、アイテムがスタイルタイプごとに意味的に明確にクラスタリングされていることが示され、モデルが意味的に整合性があり解釈可能な表現を学習していることがわかった。
• CNNのインダクティブバイアスのおかげで、頻度の低いアイテムの共起に起因するデータスパarsity問題を克服し、珍しいアイテムに対しても意味的で意味のある表現を効果的に学習できた。