[論文レビュー] Visually-Aware Fashion Recommendation and Design with Generative Image Models

Wang-Cheng Kang, Fang Chen+2 more|arXiv (Cornell University)|Nov 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 32

ひとこと要約

本稿では、シアンズCNNを用いて画像表現とユーザープreferencesを同時に学習するエンドツーエンドで視覚に配慮したファッションレコメンデーションシステムを提案しており、最先端のレコメンデーション性能を達成している。さらに、個々のユーザーテイストに合わせたパーソナライズドで新規のファッションアイテムを生成するGANベースのジェネレータをフレームワークに統合し、正確なレコメンデーションとジェネレーティブデザインの両方を実現している。

ABSTRACT

Building effective recommender systems for domains like fashion is challenging due to the high level of subjectivity and the semantic complexity of the features involved (i.e., fashion styles). Recent work has shown that approaches to `visual' recommendation (e.g.~clothing, art, etc.) can be made more accurate by incorporating visual signals directly into the recommendation objective, using `off-the-shelf' feature representations derived from deep networks. Here, we seek to extend this contribution by showing that recommendation performance can be significantly improved by learning `fashion aware' image representations directly, i.e., by training the image representation (from the pixel level) and the recommender system jointly; this contribution is related to recent work using Siamese CNNs, though we are able to show improvements over state-of-the-art recommendation techniques such as BPR and variants that make use of pre-trained visual features. Furthermore, we show that our model can be used \emph{generatively}, i.e., given a user and a product category, we can generate new images (i.e., clothing items) that are most consistent with their personal taste. This represents a first step towards building systems that go beyond recommending existing items from a product corpus, but which can be used to suggest styles and aid the design of new products.

研究の動機と目的

• レコメンデーションシステムにおける主観的で意味論的に複雑なファッションの好みの課題に対処すること。
• 事前学習済みの画像特徴に依存せず、視覚的表現とユーザープreferencesを同時に学習することで、レコメンデーションの正確性を向上させること。
• ユーザープreferencesに条件づけられたジェネレーティブモデルを用いて、パーソナライズドで新規の衣料品デザインを生成すること。
• 予測とコンテンツ生成の両方をサポートする統一フレームワークを構築することで、レコメンデーションとデザインのギャップを埋めること。

提案手法

• ピクセルレベルの画像特徴を用いて、購入済み対象と非購入対象のファッションアイテムのペアを比較することで、ユーザーフレンドリーな好みスコアを学習するためのシアンズCNNアーキテクチャを訓練する。
• 順序付きペアの好み順位を最大化するように最適化するため、ベイジアンパーソナライズドランクイング（BPR）スタイルの目的関数を用いる。
• ファッション画像の分布を学習し、新しい現実的な衣料品アイテムを生成するため、生成対立ネットワーク（GAN）を統合する。
• ユーザーエンベッディングと製品カテゴリを条件としてGANの生成プロセスに組み込むことで、パーソナライズドなファッションデザインを生成する。
• 各ユーザーフレンドリーな目的関数値を最大化するように、活性化最大化に類似した最適化を用いて、画像を生成する潜在コードを特定する。
• 繰り返し最適化（例：L1距離を用いて）を適用し、既存のプロトタイプを変更して、個々のユーザーフレンドリーに適合した改良版を生成する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドでの視覚的表現とユーザープreferencesの学習は、事前学習済みの画像特徴に依存する手法よりも、ファッションレコメンデーションにおいて優れた性能を発揮するか？
• RQ2 ユーザープreferencesに条件づけられたジェネレーティブモデルは、妥当でパーソナライズドなファッションデザインをどの程度効果的に生成できるか？
• RQ3 本システムは、視覚的に現実的でかつ個々のユーザーテイストに一致する新規のファッションアイテムをどの程度効果的に生成できるか？
• RQ4 モデルを用いて、ユーザーフレンドリーな適合性を維持したまま、既存のファッションアイテムをスタイル変更によって段階的に改善できるか？

主な発見

• 提案されたエンドツーエンドモデルは、AUCで測定したレコメンデーション正確性において最先端の性能を達成しており、事前学習済みの視覚的特徴を使用するBPRおよびBPRの変種を上回っている。
• GANベースの生成部は、トレーニングコーパス内の既存アイテムよりも顕著に高いパーソナライズドな目的関数値を持つ画像を生成している。
• 生成された画像は現実的で多様であり、トレーニングデータとは明確に異なるスタイル的特徴を示しており、ユーザーフレンドリーなファッション好みの有効な捉え方を示している。
• ユーザーフレンドリーなプロトタイプ最適化により、好みスコアが著しく向上しており、色の変更、スリーブ長の調整、ダメージエフェクトの追加といった変更が含まれる。
• ハイパーパramータ η=1 が、好みスコアと画像品質の間で最良のバランスを提供することが判明し、実験全体で最適な設定として機能した。
• 定性的な結果から、生成された画像は視覚的に妥当で一貫性のあるスタイルに属しており、同時に任意のトレーニング例とは明確に異なることが示された。