[論文レビュー] Variational Bayesian Context-aware Representation for Grocery Recommendation

Zaiqiao Meng, Richard McCreadie+2 more|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Sep 17, 2019

Recommender Systems and Techniques参考文献 16被引用数 6

ひとこと要約

本論文では、ベイジアンスキップグラムフレームワーク内でのアンモトライズド変分推論を用いて、確率的ユーザーおよびアイテム埋め込みを学習する、変分ベイジアン文脈に配慮したモデルVBCARを提案する。潜在的表現をガウス分布としてモデル化し、カート文脈を統合することで、実世界のデータにおいて最先端の手法よりも顕著に優れた推薦性能を達成し、Triple2vecに対してNDCG@10で最大31%の向上を達成した。

ABSTRACT

Grocery recommendation is an important recommendation use-case, which aims to predict which items a user might choose to buy in the future, based on their shopping history. However, existing methods only represent each user and item by single deterministic points in a low-dimensional continuous space. In addition, most of these methods are trained by maximizing the co-occurrence likelihood with a simple Skip-gram-based formulation, which limits the expressive ability of their embeddings and the resulting recommendation performance. In this paper, we propose the Variational Bayesian Context-Aware Representation (VBCAR) model for grocery recommendation, which is a novel variational Bayesian model that learns the user and item latent vectors by leveraging basket context information from past user-item interactions. We train our VBCAR model based on the Bayesian Skip-gram framework coupled with the amortized variational inference so that it can learn more expressive latent representations that integrate both the non-linearity and Bayesian behaviour. Experiments conducted on a large real-world grocery recommendation dataset show that our proposed VBCAR model can significantly outperform existing state-of-the-art grocery recommendation methods.

研究の動機と目的

• 既存のグルーピング推薦モデルがユーザーとアイテムを埋め込み空間内の決定的ポイントとして表現するという限界に対処する。これは表現能力と耐性の制限をもたらす。
• 非線形表現学習とベイジアン不確実性モデリングを統合した統一フレームワークに組み込むことで、推薦性能を向上させる。
• ユーザー・アイテム相互作用から得られるカート文脈情報を活用し、よりパーソナライズされ、文脈に配慮したユーザーおよびアイテム表現を学習する。
• 大規模なグルーピングデータセットにスケーリング可能な、アンモトライズド変分推論を用いた効率的な推論メカニズムを開発する。
• 複数の評価指標およびデータサイズにおいて、実世界のInstacartデータセット上で提案モデルの有効性を検証する。

提案手法

• VBCARモデルは、ユーザーとアイテム埋め込みをガウス分布として同時に学習するベイジアンスキップグラムフレームワークを用いることで、不確実性を考慮した表現を可能にする。
• ニューラルネットワークを介してアンモトライズド変分推論を適用し、ユーザーおよびアイテムの相互作用を直接事後分布にマッピングすることで、個々のサンプルに対する推論コストを回避する。
• 変分下界（ELBO）を最適化して、カート内でのアイテム三重組みの再構成を図り、ユーザーの好みとアイテムの共起パターンの両方を統合する。
• 潜在的表現はRMSpropを用いた確率的最適化により更新され、大規模データでの訓練効率を向上させるために負例サンプリングが適用される。
• 推薦のための好みスコアは、ユーザーとアイテムのガウス埋め込みのドット積として計算され、推論時に不確実性が統合される。
• モデルは時系列的なカートデータ上でエンドツーエンドに訓練され、アイテム間の時間的および文脈的関係が保持される。

Figure 1. The architecture of our proposed VBCAR model. The model takes the user and item one-hot identity representation, i.e. $\mathbf{F}^{u}$ and $\mathbf{F}^{i}$ , as input and outputs Gaussian distributions with means and variances as latent embeddings for all users and items. The model then us

実験結果

リサーチクエスチョン

• RQ1 決定的ポイント推定と比較して、変分ベイジアンアプローチがグルーピング推薦におけるユーザーおよびアイテム埋め込みの表現力と耐性を向上させることができるか？
• RQ2 文脈に配慮したスキーップグラムフレームワークにアンモトライズド変分推論を統合することで、特に限られた訓練データにおいてより良い一般化性能が得られるか？
• RQ3 さまざまなデータサイズにおいて、VBCARの性能はTriple2vecなどの最先端モデルと比較して、NDCG@10およびRecall@10でどのように異なるか？
• RQ4 小さなデータサブセットで訓練された場合でも、モデルは優れた性能を維持するか。これは、より優れたデータ効率性を示唆する。

主な発見

• VBCARは、評価されたすべてのデータサイズでTriple2vecを著しく上回り、100%データサブセットにおいてNDCG@10で31%の相対的向上を達成した。
• 5%データセットにおいて、VBCARのRecall@10は0.748であったのに対し、Triple2vecは0.708であり、有意差（p < 0.01）が確認された。
• VBCARとTriple2vecの性能差は、小さなデータサンプル（例：5%および10%）で最大となり、より優れたデータ効率性を示している。
• NDCG@10およびRecall@10は、VBCARにおいて訓練データサイズの増加に伴い一貫して向上し、安定的かつスケーラブルな学習を示している。
• K値（例：K=5, 10, 20）が異なる場合でも、モデルはトップ-K推薦タスクにおける強固な性能を維持している。
• ベイジアン推論を用いた確率的埋め込みの使用により、より表現力があり一般化可能な表現が得られ、両方の指標で一貫した向上が確認された。

(a) NDCG@10 performance by different triple size