[論文レビュー] Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms

Daeryong Kim, Bongwon Suh|arXiv (Cornell University)|Nov 3, 2019

Recommender Systems and Techniques参考文献 22被引用数 7

ひとこと要約

この論文は、可変オートエンコーダー（VAEs）を協調フィルタリングに応用する際、柔軟な事前分布（特にVampPrior）とゲーティング機構を導入することで、推薦性能を著しく向上させた。標準的なガウス事前分布をより表現力のあるものに置き換え、学習可能なゲーティングユニットを追加することで、より深い、より表現力のあるユーザープレファレンスモデリングが可能となり、MovieLensおよびNetflixデータセットにおいてSOTAのVAEベースのモデルを上回った。

ABSTRACT

Neural network based models for collaborative filtering have started to gain attention recently. One branch of research is based on using deep generative models to model user preferences where variational autoencoders were shown to produce state-of-the-art results. However, there are some potentially problematic characteristics of the current variational autoencoder for CF. The first is the too simplistic prior that VAEs incorporate for learning the latent representations of user preference. The other is the model's inability to learn deeper representations with more than one hidden layer for each network. Our goal is to incorporate appropriate techniques to mitigate the aforementioned problems of variational autoencoder CF and further improve the recommendation performance. Our work is the first to apply flexible priors to collaborative filtering and show that simple priors (in original VAEs) may be too restrictive to fully model user preferences and setting a more flexible prior gives significant gains. We experiment with the VampPrior, originally proposed for image generation, to examine the effect of flexible priors in CF. We also show that VampPriors coupled with gating mechanisms outperform SOTA results including the Variational Autoencoder for Collaborative Filtering by meaningful margins on 2 popular benchmark datasets (MovieLens & Netflix).

研究の動機と目的

• 協調フィルタリングにおける標準VAEの過度に単純化された事前分布の制限を解決すること。これは、複雑なユーザープレファレンスパターンを捉える能力を制限する。
• 深層VAEの訓練における課題を克服するため、ゲーティング機構を導入して学習を安定化させ、より深いアーキテクチャを可能にすること。
• 画像生成のために開発された柔軟な事前分布が、協調フィルタリングにおける推薦性能を向上させることを調査すること。
• 柔軟な事前分布とゲーティング機構を組み合わせることで、標準VAEおよび既存のSOTA手法を上回る顕著な性能向上が達成されることを示すこと。

提案手法

• 協調フィルタリングのVAEにおける標準的な等方的ガウス事前分布の代わりに、単純な分布の混合に基づく柔軟な事前分布であるVampPriorを採用する。
• 情報の流れを深層層で制御するための学習可能なゲーティング機構を導入し、推薦システムにおける深層VAEアーキテクチャの有効な訓練を可能にする。
• 変分推論の目的関数に従い、下界の期待値（ELBO）を最適化するVAEを訓練する。この際、VampPriorを用いてユーザーラテン要因の事前分布をモデル化する。
• 残差接続とゲーティングユニットを備えた深層エンコーダおよびデコーダアーキテクチャを用いて、ラテン空間における表現学習を向上させる。
• 観測済みのユーザ-アイテム相互作用の尤度を再構成項として用い、確率的勾配降下法を用いてモデルをエンドツーエンドで最適化する。
• VampPriorのパrameterizationを適用することで、計算コストを著しく増加させることなく、ユーザーエンベッディングのより表現力のある事前分布を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 VAEにおける標準的な等方的ガウス事前分布を、VampPriorのようなより柔軟な事前分布に置き換えることで、協調フィルタリングにおける推薦性能が向上するか？
• RQ2 ゲーティング機構の統合により、協調フィルタリングにおけるより深いVAEアーキテクチャの訓練が可能になり、より良い表現学習が達成されるか？
• RQ3 柔軟な事前分布とゲーティング機構が、VAEベースの推薦モデルの一般化性能にどのように影響を与えるか？
• RQ4 提案手法の改善効果が、MovieLensおよびNetflixなどのベンチマークデータセットにおいて、標準VAEおよび既存のSOTA手法をどの程度上回るか？

主な発見

• VampPriorを柔軟な事前分布として用いることで、標準的な等方的ガウス事前分布を用いたVAEに比べて、推薦性能が顕著に向上した。
• ゲーティング機構の統合により、協調フィルタリングにおけるより深いVAEアーキテクチャの訓練が可能となり、これは従来の標準VAEでは困難であった。
• VampPriorとゲーティング機構の組み合わせにより、MovieLensおよびNetflixの両方のベンチマークデータセットでSOTAの結果が達成された。
• 提案モデルは、元の協調フィルタリング用変分オートエンコーダーを意味的なマージンで上回り、柔軟な事前分布とより深いモデリングの有効性を示した。
• 両方のデータセットにおいて一貫した改善が得られたため、提案手法の堅牢性と多様な推薦シナリオへの一般化能力が示された。
• 結果から、標準VAEにおける極めて単純化された事前分布が、複雑なユーザープレファレンス構造を捉える能力を制限している可能性があり、柔軟な事前分布がその制約を緩和できることが示唆された。