[論文レビュー] Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms

Daeryong Kim, Bongwon Suh|arXiv (Cornell University)|Nov 3, 2019

Recommender Systems and Techniques参考文献 33被引用数 8

ひとこと要約

この論文は、可変オートエンコーダー（VAEs）を協調フィルタリングに改善するため、柔軟な事前分布（VampPrior）とゲーティング機構を導入し、推薦性能を顕著に向上させている。標準の等方的ガウス事前分布をより表現力の高いVampPriorに置き換えることで、MovieLensおよびNetflixデータセットにおいて、最先端のVAEベースのモデルを上回る性能を達成していることが示された。

ABSTRACT

Neural network based models for collaborative filtering have started to gain attention recently. One branch of research is based on using deep generative models to model user preferences where variational autoencoders were shown to produce state-of-the-art results. However, there are some potentially problematic characteristics of the current variational autoencoder for CF. The first is the too simplistic prior that VAEs incorporate for learning the latent representations of user preference. The other is the model's inability to learn deeper representations with more than one hidden layer for each network. Our goal is to incorporate appropriate techniques to mitigate the aforementioned problems of variational autoencoder CF and further improve the recommendation performance. Our work is the first to apply flexible priors to collaborative filtering and show that simple priors (in original VAEs) may be too restrictive to fully model user preferences and setting a more flexible prior gives significant gains. We experiment with the VampPrior, originally proposed for image generation, to examine the effect of flexible priors in CF. We also show that VampPriors coupled with gating mechanisms outperform SOTA results including the Variational Autoencoder for Collaborative Filtering by meaningful margins on 2 popular benchmark datasets (MovieLens & Netflix).

研究の動機と目的

• 標準のVAEが協調フィルタリングにおいて抱える課題、特に単純すぎる等方的ガウス事前分布の制限を解決すること。
• アーキテクチャ的制約を克服することで、ユーザーの好みモデリングのためのより深い表現学習をVAEで可能にすること。
• 柔軟な事前分布とゲーティング機構が推薦精度と一般化性能を向上させられるかどうかを調査すること。
• 実世界のベンチマークデータセットを用いて、VampPriorとゲーティングの有効性を実証的に検証すること。

提案手法

• 標準の等方的ガウス事前分布を置き換えるために、局所化された基本分布の混合を用いた柔軟でパラメータ化された事前分布「VampPrior」を導入する。
• 各事前分布成分の寄与度を動的に制御する学習可能なゲーティング機構を適用する。
• 残差接続を備えたより深いアーキテクチャをサポートするよう、VAEの推論および生成ネットワークを変更する。
• 再パラメータ化勾配を用いて、エビデンス下界（ELBO）目的関数をエンドツーエンドで最適化する。
• 複雑なユーザー好みの分布をより効果的にモデル化できるように、学習可能なパラメータを有する離散的事前分布混合を用いる。
• 入力のユーザー・アイテム相互作用に基づいて関連する事前分布成分に注目するソフトゲーティング機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 標準の等方的ガウス事前分布をより柔軟な事前分布に置き換えることで、VAEベースの協調フィルタリングにおける推薦性能が向上するか？
• RQ2 ゲーティング機構の統合が、ユーザー好みのモデリングにおけるVAEの表現力と一般化性能を向上させるか？
• RQ3 柔軟な事前分布とゲーティングを用いることで、協調フィルタリングに適したより深いVAEアーキテクチャを効果的に学習できるか？
• RQ4 ベンチマークデータセットにおいて、VampPriorとゲーティング機構は標準のVAEおよび最先端モデルと比べてどのように性能を発揮するか？

主な発見

• VampPriorとゲーティングを組み合わせた本手法は、MovieLensおよびNetflixデータセットにおいて、元のVAEの協調フィルタリングモデルを著しく上回る性能を達成した。
• 柔軟な事前分布の使用により、推薦精度が顕著に向上し、標準の事前分布が複雑なユーザー好みをモデル化するのにはあまりに制限的であることが示された。
• ゲーティング機構により、関連する事前分布成分の分離と選択がより良く行われ、表現学習が向上した。
• 本モデルは、MovieLensおよびNetflixのベンチマークで最先端の性能を達成し、以前の最先端VAEベースの手法を上回った。
• アブレーションスタディにより、柔軟な事前分布とゲーティング機構の両方が性能向上に独立して寄与するとともに、相乗効果を発揮することが確認された。