[論文レビュー] Learning Disentangled Representations for Recommendation

Jianxin Ma, Chang Zhou+3 more|arXiv (Cornell University)|Oct 31, 2019

Generative Adversarial Networks and Image Synthesis被引用数 100

ひとこと要約

MacridVAEを導入し、ユーザーの行動からマクロとミクロの分離表現を学習し、推奨性能の向上と解釈可能で制御可能な表現を実現する。

ABSTRACT

User behavior data in recommender systems are driven by the complex interactions of many latent factors behind the users' decision making processes. The factors are highly entangled, and may range from high-level ones that govern user intentions, to low-level ones that characterize a user's preference when executing an intention. Learning representations that uncover and disentangle these latent factors can bring enhanced robustness, interpretability, and controllability. However, learning such disentangled representations from user behavior is challenging, and remains largely neglected by the existing literature. In this paper, we present the MACRo-mIcro Disentangled Variational Auto-Encoder (MacridVAE) for learning disentangled representations from user behavior. Our approach achieves macro disentanglement by inferring the high-level concepts associated with user intentions (e.g., to buy a shirt or a cellphone), while capturing the preference of a user regarding the different concepts separately. A micro-disentanglement regularizer, stemming from an information-theoretic interpretation of VAEs, then forces each dimension of the representations to independently reflect an isolated low-level factor (e.g., the size or the color of a shirt). Empirical results show that our approach can achieve substantial improvement over the state-of-the-art baselines. We further demonstrate that the learned representations are interpretable and controllable, which can potentially lead to a new paradigm for recommendation where users are given fine-grained control over targeted aspects of the recommendation lists.

研究の動機と目的

• 推奨システムにおける分離表現の必要性を動機づけ、頑健性と解釈性を向上させる。
• 高レベルの意図と低レベルのアイテム属性を分離するMACRo-mIcro Disentangled Variational Auto-Encoder (MacridVAE)を提案する。
• 概念プロトタイプとカテゴリ割り当てを用いてマクロ分離を開発し、β正規化KL目的関数によるミクロ分離を実現する。
• 学習された表現が解釈可能であり、推奨に対するユーザー制御性を提供することを示す。

提案手法

• 潜在表現 z_u とアイテムの概念指標 C からユーザーの相互作用 x_u が生成される生成モデルを提案する。
• z_u を K 個の概念固有の部分 z_u^(k) に分割し、プロトタイプ m_k を介してアイテムをワンホット概念ベクトル c_i に結び付けることでマクロ分離を実装する。
• 変分エンコーダ q_theta(z_u|x_u,C) とコサインベースのプロトタイプ割り当てを用いてモード崩れを防ぐ。
• 次元間の独立性とミクロ分離を促進するために KL項を強化したβ-VAE風の目的関数を適用する。
• 大規模なアイテム集合上でスケーラブルなデコーディングのためにサンプリングされたソフトマックスを用い、g_theta^(i)(z_u^(k)) が概念 k 内のアイテム i の尤度を導く。
• マクロとミクロの要因を整合させるため、事前分布 p_theta(z_u) をガウス分布とし、コサインベースのデコーダを採用する。
• 潜在次元の段階的な変化をナビゲートするためにビーム探索ベースのユーザー制御推奨法を提供する。

実験結果

リサーチクエスチョン

• RQ1 マクロレベルの分離が概念ごとにユーザーの意図を分離しつつ、概念間の好みを保持できるか？
• RQ2 ミクロレベルの分離が次元ごとに独立した潜在因子を生み出し、推奨の頑健性を向上させるか？
• RQ3 マクロおよびミクロの分離を組み込むことで実世界データセットの予測性能が向上するか？
• RQ4 学習された表現は解釈可能で、ユーザーによって制御できるか？
• RQ5 コサインベースのプロトタイプ割り当ては、内積スキームと比較してモード崩れを抑制するか？

主な発見

Dataset	Method	NDCG@100	Recall@20	Recall@50
AliShop-7C	MultDAE	0.23923 (±0.00380)	0.15242 (±0.00305)	0.24892 (±0.00391)
AliShop-7C	β-MultVAE	0.23875 (±0.00379)	0.15040 (±0.00302)	0.24589 (±0.00387)
AliShop-7C	Ours	0.29148 (±0.00380)	0.18616 (±0.00317)	0.30256 (±0.00397)
ML-100k	MultDAE	0.24487 (±0.02738)	0.23794 (±0.03605)	0.32279 (±0.04070)
ML-100k	β-MultVAE	0.27484 (±0.02883)	0.24838 (±0.03294)	0.35270 (±0.03927)
ML-100k	Ours	0.28895 (±0.02739)	0.30951 (±0.03808)	0.41309 (±0.04503)
ML-1M	MultDAE	0.40453 (±0.00799)	0.34382 (±0.00961)	0.46781 (±0.01032)
ML-1M	β-MultVAE	0.40555 (±0.00809)	0.33960 (±0.00919)	0.45825 (±0.01039)
ML-1M	Ours	0.42740 (±0.00789)	0.36046 (±0.00947)	0.49039 (±0.01029)
ML-20M	MultDAE	0.41900 (±0.00209)	0.39169 (±0.00271)	0.53054 (±0.00285)
ML-20M	β-MultVAE	0.41113 (±0.00212)	0.38263 (±0.00273)	0.51975 (±0.00289)
ML-20M	Ours	0.42496 (±0.00212)	0.39649 (±0.00271)	0.52901 (±0.00284)
Netflix	MultDAE	0.37450 (±0.00095)	0.33982 (±0.00123)	0.43247 (±0.00126)
Netflix	β-MultVAE	0.36291 (±0.00094)	0.32792 (±0.00122)	0.41960 (±0.00125)
Netflix	Ours	0.37987 (±0.00096)	0.34587 (±0.00124)	0.43478 (±0.00125)

• MacridVAEは、実世界データセット5件で最先端のベースラインより顕著な改善を達成し、特にスパースで小規模なデータセットで顕著。
• マクロ分離は多様なユーザー関心のモデリングを可能にし、概念内で情報を共有することでデータのスパース性を緩和するのに寄与する。
• ミクロ分離正則化によりより独立した潜在次元が得られ、頑健性と解釈性を高める。
• プロトタイプ割り当てにコサイン類似度を用いることでモード崩れを防ぎ、内積よりも意味のある概念クラスタリングを生み出す。
• 学習された表現は解釈可能で、人が理解しやすい概念に次元が整列し、潜在的なユーザー制御推奨を可能にする。