[論文レビュー] Variational Collaborative Learning for User Probabilistic Representation

Kenan Cui, Xu Chen+2 more|arXiv (Cornell University)|Sep 22, 2018

Recommender Systems and Techniques参考文献 21被引用数 5

ひとこと要約

本論文は、ユーザーとアイテムの相互作用データおよび補助的テキストデータから、確率的ユーザー表現を共同で学習する2つの同期化された変分オートエンコーダー（VAE）を用いる深層生成モデル、Variational Collaborative Learning（VCM）を提案する。従来の非同期的相互正則化を用いるハイブリッドモデルとは異なり、VCMは確率的表現のKLダイバージェンスに基づく一致を介して、同期的かつ双方向の協調学習を可能にし、スパースなデータにおいて推薦精度を顕著に向上させる。

ABSTRACT

Collaborative filtering (CF) has been successfully employed by many modern recommender systems. Conventional CF-based methods use the user-item interaction data as the sole information source to recommend items to users. However, CF-based methods are known for suffering from cold start problems and data sparsity problems. Hybrid models that utilize auxiliary information on top of interaction data have increasingly gained attention. A few "collaborative learning"-based models, which tightly bridges two heterogeneous learners through mutual regularization, are recently proposed for the hybrid recommendation. However, the "collaboration" in the existing methods are actually asynchronous due to the alternative optimization of the two learners. Leveraging the recent advances in variational autoencoder~(VAE), we here propose a model consisting of two streams of mutual linked VAEs, named variational collaborative model (VCM). Unlike the mutual regularization used in previous works where two learners are optimized asynchronously, VCM enables a synchronous collaborative learning mechanism. Besides, the two stream VAEs setup allows VCM to fully leverages the Bayesian probabilistic representations in collaborative learning. Extensive experiments on three real-life datasets have shown that VCM outperforms several state-of-art methods.

研究の動機と目的

• 補助情報の統合により、協調フィルタリングにおけるコールドスタート問題とデータスパarsity問題に対処すること。
• 従来のハイブリッドモデルにおける非同期的相互正則化の限界を克服し、ベイジアン表現を十分に活用できない問題を解決すること。
• ユーザー相互作用データと補助的テキストとの間で双方向の情報フローを可能にする、同期的協調学習メカニズムを開発すること。
• 相互作用データおよび補助的データストリームの両方に対して、変分オートエンコーダーを用いて強固で確率的なユーザー表現学習を可能にすること。
• 実世界のデータセット上で、最先端のハイブリッド推薦手法と比較して本手法の優位性を実証すること。

提案手法

• ユーザーとアイテムの相互作用データ（X）とユーザーのレビュー本文（Y）の両方を処理する2つの並列で拡張されたVAEを用い、確率的ユーザー潜在表現を学習する。
• 変分推論を用いて、相互作用データからのユーザー潜在要因の真の後方分布を近似し、点推定の代わりに完全なベイズ推論を導入する。
• 各訓練イテレーションで2つのVAEの潜在分布間のKLダイバージェンスを最小化することで、表現を一致させる同期的協調学習メカニズムを導入する。
• CF用のVAEにおけるKLダイバージェンスを、保持された情報量の上界として扱い、ユーザー単位の容量制御を可能にし、スパースなデータにおける過学習を軽減する。
• VAEの柔軟性を活用して、テキストや画像などの複数のモダリティをフレームワーク内で統合する。
• 統一された変分下界（ELBO）の下で、相互作用データとレビューの同時尤度を最適化することで、エンドツーエンドの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 同期的協調学習メカニズムは、非同期的相互正則化に比べてハイブリッド推薦モデルにおいて優れた性能を発揮するか？
• RQ2 VAEによる確率的ユーザー表現の学習は、スパースなユーザー相互作用データにおいて推薦性能を向上させるか？
• RQ3 相互作用データとテキストデータ間の双方向情報フローは、表現品質および推薦精度をどの程度向上させるか？
• RQ4 本手法は、相互作用履歴が限られたコールドスタートユーザーに対して、点推定または非確率的モデルと比較してどのように対処するか？
• RQ5 アーキテクチャの変更なしに、本手法はテキストや画像などの異なる補助的データモダリティに一般化可能か？

主な発見

• VCMは、Yelp、Amazon、MovieLensの3つの実世界データセットにおいて、CVAE や CDL などの最先端手法を顕著に上回り、優れた推薦精度を示した。
• アブレーションスタディの結果、同期的協調学習メカニズムが性能向上の主因であることが確認され、片方向正則化のみのモデルよりも優れた性能を示した。
• 表現品質の向上が確認された：VCMのテキスト用VAEは、相互作用VAEとの協調学習のおかげで、より意味のあるキーワード（例：'vegetarian'、'healthy'）を学習した。これに対して、VCM-Se（アブレーション変種）は関係のない語句に対しても高い確率を割り当てていた。
• CF用VAEにおけるKLダイバージェンス正則化は、容量制御の役割を果たし、特に信号がスパースな非アクティブユーザーにおいて過学習を防ぎ、一般化性能を向上させた。
• スパarsityレベルが異なるデータセットにおいても安定した性能を発揮したため、本手法は現実世界のコールドスタートシナリオへの一般化性とスケーラビリティに優れていることが示された。
• 語彙確率の可視化結果から、協調学習が両モダリティにおける学習表現の解釈可能性と関連性を向上させていることが確認された。