[論文レビュー] Visually-Aware Personalized Recommendation using Interpretable Image Representations

Charles Packer, Julian McAuley+1 more|arXiv (Cornell University)|Jun 26, 2018

Visual Attention and Saliency Detection参考文献 5被引用数 15

ひとこと要約

本稿では、微細な属性解析から得られる解釈可能な画像表現を用いて、視覚的に配慮されたパーソナライズドレコメンデーションシステムを提案する。この手法は、最先端のランク付け性能を達成するとともに、モデルの解釈可能性を保証する。離散的な視覚的属性（例：'レザー'、'フレアード'）に対するユーザー固有の関心度を学習することで、インタラクティブなパーソナライゼーションと時間的経過に伴う解釈可能なトレンド分析を可能にする。

ABSTRACT

Visually-aware recommender systems use visual signals present in the underlying data to model the visual characteristics of items and users' preferences towards them. In the domain of clothing recommendation, incorporating items' visual information (e.g., product images) is particularly important since clothing item appearance is often a critical factor in influencing the user's purchasing decisions. Current state-of-the-art visually-aware recommender systems utilize image features extracted from pre-trained deep convolutional neural networks, however these extremely high-dimensional representations are difficult to interpret, especially in relation to the relatively low number of visual properties that may guide users' decisions. In this paper we propose a novel approach to personalized clothing recommendation that models the dynamics of individual users' visual preferences. By using interpretable image representations generated with a unique feature learning process, our model learns to explain users' prior feedback in terms of their affinity towards specific visual attributes and styles. Our approach achieves state-of-the-art performance on personalized ranking tasks, and the incorporation of interpretable visual features allows for powerful model introspection, which we demonstrate by using an interactive recommendation algorithm and visualizing the rise and fall of fashion trends over time.

研究の動機と目的

• ファッションレコメンデーションシステムで使用される深層学習ベースの視覚的表現における解釈可能性の欠如に対処すること。
• ユーザーの好みを抽象的な埋め込み表現ではなく、離散的な視覚的属性（例：色、素材、スタイル）に対する明示的な関心度としてモデル化すること。
• ユーザーがアイテムの特徴や視覚的次元に基づいて好みを動的に調整できるインタラクティブレコメンデーションシステムを実現すること。
• 時間的変化に伴う視覚的属性の人気度の変化を分析することで、特徴レベルでのファッショントレンドの追跡を可能にすること。

提案手法

• モデルは、微細な属性検出フレームワークの変更版を用いて、製品画像から解釈可能な視覚的特徴を抽出する。これは、微細なアノテーションが施された独自のファッションデータセットで訓練されている。
• ベイジアンパーソナライズドランク（BPR）を拡張し、学習可能な埋め込み行列 E を通じて視覚的要因を組み込む。この行列 E は視覚的特徴を潜在的好み次元にマップする。
• ユーザーの好みは、ワンホットエンコードされた特徴を用いた修正された好み予測子によって計算される、アフィニティーベクトル p_u としてモデル化される。
• アフィニティーベクトルは解釈可能性を保証するために正規化され、視覚的特徴空間における最近傍探索を用いてレコメンデーションを生成する。
• インタラクティブパーソナライゼーションは、p_u をターゲットアイテム（式6）または特定の視覚的次元（式7）に向けたスケーリングによって動的に更新することで実現される。
• 時間的ファッショントレンドの追跡は、埋め込み行列と重みベクトル w(t) の積を用いて各視覚的特徴の時間加重影響を計算することで達成される（式8）。

実験結果

リサーチクエスチョン

• RQ1 属性解析から得られる解釈可能な視覚的特徴は、高次元のブラックボックスCNN特徴よりも、パーソナライズドファッションレコメンデーションで優れた性能を発揮するか？
• RQ2 ユーザーの好みを抽象的な埋め込み表現ではなく、離散的な視覚的属性に対する関心度として意味的に意味のある形で表現できるか？
• RQ3 解釈可能な視覚的特徴により、ユーザーがアイテムや特徴を選択することで好みを変更できるインタラクティブレコメンデーションシステムを実現できるか？
• RQ4 モデルが特定の属性（例：'ダメージ加工'のジーンズ）レベルでのファッショントレンド進化を意味的かつ解釈可能な可視化で提供できるか？

主な発見

• 提案手法は、ブラックボックスCNN特徴を用いるベースラインと比較して、パーソナライズドランクタスクで最先端の性能を達成した。
• 解釈可能な視覚的特徴の使用により次元削減が達成され、かつ既存手法と比較して推薦精度を維持または向上させた。
• ユーザーのアフィニティーベクトル p_u は、特定の視覚的属性（例：'レザー'、'フレアード'）に対する個人の好みを的確に捉えており、モデルの内部状態を直感的に理解できる。
• 動的アフィニティ更新（式6および式7）によるインタラクティブレコメンデーションにより、ユーザーがアイテムや特徴を選択することで結果をカスタマイズでき、ユーザビリティが向上した。
• モデルは、特定の属性（例：'ジャンプスーツ'や'ダメージ加工'スタイル）の流行の上昇・低下を直接可視化できる。
• 式8を用いた時間的トレンド分析により、曖昧な潜在空間の解釈に依存せずに、属性の人気度の解釈可能な変化を明らかにした。これは、現実のファッションダイナミクスに関する洞察を提供した。