[論文レビュー] CRAFT: Complementary Recommendations Using Adversarial Feature Transformer

Cong Phuoc Huynh, Arridhana Ciptadi+2 more|arXiv (Cornell University)|Apr 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 6

ひとこと要約

CRAFT は、画像特徴における視覚的共起パターンを学習することで、多様で補完的な衣料品の推薦を生成する非教師あり、敵対的特徴変換フレームワークを提案する。元の画像ではなく特徴空間上で条件付き生成変換器を訓練することにより、CRAFT は人間評価において特に特徴空間の低密度領域でベースラインを上回る高品質で多様な推薦を生成する。

ABSTRACT

Traditional approaches for complementary product recommendations rely on behavioral and non-visual data such as customer co-views or co-buys. However, certain domains such as fashion are primarily visual. We propose a framework that harnesses visual cues in an unsupervised manner to learn the distribution of co-occurring complementary items in real world images. Our model learns a non-linear transformation between the two manifolds of source and target complementary item categories (e.g., tops and bottoms in outfits). Given a large dataset of images containing instances of co-occurring object categories, we train a generative transformer network directly on the feature representation space by casting it as an adversarial optimization problem. Such a conditional generative model can produce multiple novel samples of complementary items (in the feature space) for a given query item. The final recommendations are selected from the closest real world examples to the synthesized complementary features. We apply our framework to the task of recommending complementary tops for a given bottom clothing item. The recommendations made by our system are diverse, and are favored by human experts over the baseline approaches.

研究の動機と目的

• ラベル付き共起データに依存せずに、視覚的情報のみを用いて多様で視覚的に補完的な衣料品の推薦を生成する課題に対処すること。
• 特徴空間の低密度領域において、従来の協調フィルタリングや最近傍法の限界を克服すること。
• 実世界の画像データから、補完的アイテムペア（例：トップスとボトムス）の同時分布を非教師的に直接学習するフレームワークを開発すること。
• 画像の合成ではなく、補完的アイテムの新しい特徴表現を生成することにより、推薦の多様性と関連性を向上させること。
• 特にレアまたは低頻度のクエリアイテムが存在する状況において、専門家評価を通じて本手法の有効性を検証すること。

提案手法

• CRAFT は、敵対的最適化により訓練された条件付き生成変換器ネットワークを採用し、ソースアイテムとターゲットアイテムの特徴多様体間の非線形変換（例：ボトムスからトップス）を学習する。
• モデルはクエリアイテムの特徴埋め込みとランダムなノイズベクトルを入力として受け取り、潜在空間における補完的アイテムの特徴表現を生成する。
• 推薦は、実際のカタログアイテムの事前インデックス化された特徴空間における最近傍検索によって取得され、推薦が現実的で視覚的に根拠を持つことを保証する。
• 敵対的訓練の目的関数は特徴空間で定義されており、画像生成の必要がなく、訓練の安定性を向上させるとともにモード崩壊を回避する。
• フレームワークは、共起するアイテムペアが補完的関係を示すものと仮定した実世界の画像データで訓練される。
• 人間評価の際には、個々のファッション専門家のバイアスを補正するため、実際のクエリアイテムに合わせて着用されたトップスを基準として正規化手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで特徴空間に基づく生成モデルは、共購入や共視データに依存せずに、多様で補完的なファッション推薦を生成できるか？
• RQ2 CRAFT モデルの性能は、特徴空間の低密度領域において最近傍法やベースライン手法と比較してどうなるか？
• RQ3 ファッション専門家は、競合アプローチの推薦と比較して、CRAFT が生成した推薦をどれほど好むか？
• RQ4 CRAFT の条件付き生成変換器は、希少または一般的でないアイテムを含む、さまざまなクエリアイテムの密度に対しても一般化できるか？
• RQ5 特徴空間における敵対的訓練は、推薦の多様性と関連性を向上させるとともに、安定性を維持し、モード崩壊を回避できるか？

主な発見

• CRAFT は 70.3% ± 1.4 の人間専門家受容率を達成し、最近傍法ベースライン（66.5% ± 1.4）や他のベースラインを顕著に上回った。
• 高密度領域（例：ブルーのジーンズのような人気ボトムス）では、CRAFT と最近傍法の性能が類似しており、重複する信頼区間を示した。
• 中密度および低密度領域（例：レアまたは柄付きスカート）では、CRAFT は一貫した性能を維持したが、最近傍法ベースラインは著しく劣化し、ランダムベースライン水準に近づいた。
• 中密度および低密度領域では、CRAFT と最近傍法の性能差が統計的に有意であり、CRAFT の一般化能力を示した。
• クエリオシャレに実際に着用されたトップスを推薦セットに含めることで、信頼性のある正規化が可能となり、専門家のバイアスが受容スコア比較を歪めないことを保証した。
• CRAFT は、希少なクエリアイテムに対しても、特徴空間における共起アイテムの同時分布をモデル化することで、多様で関連性があり、視覚的に妥当な推薦を成功裏に生成した。