[論文レビュー] Explainable Fashion Recommendation: A Semantic Attribute Region Guided Approach

Min Hou, Le Wu+4 more|arXiv (Cornell University)|May 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 14

ひとこと要約

本稿では、弱教師付きのセマンティック抽出ネットワーク（SEN）と微細粒度の好み注意（FPA）モジュールを用いて、ユーザーの好みを細分化された属性レベルでモデル化する、意味的属性領域ガイドド型の説明可能なファッション推薦システムSAERSを提案する。アイテムとユーザーを意味的属性空間に投影することにより、Amazonデータセットにおいて最先端の性能を達成し、注目重み付き属性強調を通じて個別化され、視覚的に解釈可能な説明を提供する。

ABSTRACT

In fashion recommender systems, each product usually consists of multiple semantic attributes (e.g., sleeves, collar, etc). When making cloth decisions, people usually show preferences for different semantic attributes (e.g., the clothes with v-neck collar). Nevertheless, most previous fashion recommendation models comprehend the clothing images with a global content representation and lack detailed understanding of users' semantic preferences, which usually leads to inferior recommendation performance. To bridge this gap, we propose a novel Semantic Attribute Explainable Recommender System (SAERS). Specifically, we first introduce a fine-grained interpretable semantic space. We then develop a Semantic Extraction Network (SEN) and Fine-grained Preferences Attention (FPA) module to project users and items into this space, respectively. With SAERS, we are capable of not only providing cloth recommendations for users, but also explaining the reason why we recommend the cloth through intuitive visual attribute semantic highlights in a personalized manner. Extensive experiments conducted on real-world datasets clearly demonstrate the effectiveness of our approach compared with the state-of-the-art methods.

研究の動機と目的

• ファッション推薦におけるユーザー好みの微細粒度理解の不足に取り組むこと、特にネックラインやスリーブタイプなどの特定のセマンティック属性について。
• 正確な推薦と、なぜ特定のアイテムが推薦されたかを直感的かつ視覚的に説明できるモデルを開発すること。
• グローバル画像表現の限界を克服するため、各次元が特定の衣類属性に対応する微細粒度で解釈可能な意味的属性空間を導入すること。
• 手動によるアノテーションを必要とせず、ファッション画像から属性固有の特徴を弱教師付きで抽出できること。
• ベイジアンパーソナライズドランクイングフレームワーク内において、グローバルな視覚的特徴と局所的な属性表現を同時に学習すること。

提案手法

• 各次元が特定の衣類属性（例：Vネック、ショートスリーブ）に対応する意味的属性空間を導入し、微細粒度の好みモデリングを可能にする。
• アイテムレベルのラベルのみを用いて弱教師付きで局所的な属性表現を局所化・抽出するセマンティック抽出ネットワーク（SEN）を開発する。
• 各意味的属性ごとに個別化された注目重みを学習する微細粒度の好み注意（FPA）モジュールを設計し、それらを統合してユーザー好みを表現する。
• ユーザーとアイテムを意味的属性空間に投影し、ユーザー好みとアイテム属性の間で個別化されたマッチングを可能にする。
• ベイジアンパーソナライズドランクイング（BPR）フレームワーク内でのペairwise学習目的関数を最適化することで、推薦精度を向上させる。
• Grad-CAMに基づく注目マップ（Grad-AAM）を用いて、推薦説明における最も関連性の高い意味的属性を可視化・強調する。

実験結果

リサーチクエスチョン

• RQ1 個々のセマンティック属性（例：ネックライン、スリーブ長）レベルでのユーザー好みのモデリングは、ファッション推薦のパフォーマンスを向上させることができるか？
• RQ2 手動によるバウンディングボックスアノテーションを必要とせず、弱教師付きアプローチがファッション画像から意味的属性表現を効果的に局所化・抽出できるか？
• RQ3 グローバルな視覚的特徴と微細粒度の属性特徴を統合することで、単独で使用する場合よりも高い推薦精度が得られるか？
• RQ4 モデルが画像内の特定の属性を強調することで、個別化され、視覚的に解釈可能な説明を提供できるか？
• RQ5 埋め込み次元数などのハイパーパrameter設定に対して、モデルの頑健性はどの程度か？

主な発見

• SAERSはAmazonファッションデータセットにおいてAUC 0.8161を達成し、次に優れたベースライン（VBPR + SAF 0.7826）を1.8%上回る。
• アブレーションスタディの結果、意味的属性特徴を組み込むことでVBPRは1.4%、SAERSは1.8%向上し、属性レベルモデリングの有効性が示された。
• NDCG@N評価において異なる埋め込み次元数で安定したパフォーマンスを示しており、ハイパーパrameterチューニングに対してモデルが頑健であることが確認された。
• FPAおよびGrad-AAMによるユーザー好みの可視化は、Vネックラインやショートスリーブなどの最も関連性の高い属性を的確に強調しており、注目重みがユーザー好みを正確に反映している。
• コールドスタートアイテムに対しても優れた性能を示し、All ItemsおよびCold Itemsの両シナリオで一貫したNDCG向上を達成した。
• グローバル特徴のみを用いるアブレーションモデルSAERS-SAFは、完全なSAERSに比べて性能が劣っており、最適なパフォーマンスを得るにはグローバル特徴と局所的属性特徴の両方が不可欠であることが確認された。