[論文レビュー] Recurrent Latent Variable Networks for Session-Based Recommendation

Sotirios Chatzis, Panayiotis Christodoulou+1 more|arXiv (Cornell University)|Jun 13, 2017

Recommender Systems and Techniques参考文献 29被引用数 8

ひとこと要約

本稿では、ベイジアン変分推論を用いてユーザー行動をモデル化することで、スパースなセッションデータにおける不確実性を捉え、ベンチマークデータセット上で効率的な学習と推論を実現する、再帰的潜在変数ネットワークReLaVaRを提案する。再帰的隠れ状態を学習された事後分布を有する確率的潜在変数として扱うことで、ReLaVaRはスパースなセッションデータにおける不確実性を効果的に捉え、最先端の性能を達成する。

ABSTRACT

In this work, we attempt to ameliorate the impact of data sparsity in the context of session-based recommendation. Specifically, we seek to devise a machine learning mechanism capable of extracting subtle and complex underlying temporal dynamics in the observed session data, so as to inform the recommendation algorithm. To this end, we improve upon systems that utilize deep learning techniques with recurrently connected units; we do so by adopting concepts from the field of Bayesian statistics, namely variational inference. Our proposed approach consists in treating the network recurrent units as stochastic latent variables with a prior distribution imposed over them. On this basis, we proceed to infer corresponding posteriors; these can be used for prediction and recommendation generation, in a way that accounts for the uncertainty in the available sparse training data. To allow for our approach to easily scale to large real-world datasets, we perform inference under an approximate amortized variational inference (AVI) setup, whereby the learned posteriors are parameterized via (conventional) neural networks. We perform an extensive experimental evaluation of our approach using challenging benchmark datasets, and illustrate its superiority over existing state-of-the-art techniques.

研究の動機と目的

• ユーザープロフィールが限られている、あるいは存在しないセッションベース推薦システムにおけるデータスパarsityの課題に対処すること。
• ユーザーのセッションシーケンスにおける複雑で繊細な時間的ダイナミクスを捉えることで、推薦精度を向上させること。
• 深層学習ベースのセッションモデリングに不確実性モデリングを組み込むことで、スパースデータにおけるロバストネスを向上させること。
• 大規模な実世界のデータセットと互換性のあるスケーラブルな推論フレームワークを開発すること。
• 原理的ベイジアン深層学習アプローチを用いて、既存の最先端手法を上回る性能を達成すること。

提案手法

• ゲート付き再帰ユニット（GRU）の隠れ状態を、事前分布を有する確率的潜在変数として扱う。
• アンモトライズド変分推論（AVI）を用い、ニューラルネットワークを用いて隠れ状態上の事後分布をパrameter化する。
• 再構成誤差とKLダイバージェンスのバランスを最適化する変分下界（ELBO）を最適化することで、モデルをエンドツーエンドで学習する。
• トレーニングにクロスエントロピー損失関数とTOP1損失関数を併用し、後者は上位k件の予測性能を重視する。
• 各タイムステップにおける事後分布を効率的に計算するために、GRUベースの推論ネットワークを用いる。
• 学習された事後分布を用いて、スパース観測における不確実性を考慮した推薦を生成する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン深層学習フレームワークは、データスパarsity下でもセッションベース推薦の性能を向上させることができるか？
• RQ2 変分推論を用いて再帰的隠れ状態を確率的潜在変数としてモデル化することで、予測精度が向上するか？
• RQ3 アンモトライズド変分推論は、スケーラビリティとパフォーマンスの観点から、推薦システムにおけるシーケンスモデリングに効果的に適用可能か？
• RQ4 提案手法は、非ベイジアンRNNおよび他の最先端モデルと比較して、セッションベース推薦タスクにおいて優れた性能を示すか？
• RQ5 予測における不確実性の組み込みが、スパースなセッションデータにおける一般化性能の向上に寄与するか？

主な発見

• ReLaVaRはベンチマークデータセット上で既存の最先端手法を上回り、トップ1およびトップ5の推薦指標において高い精度を達成した。
• 1000ユニットのモデルにTOP1損失を適用した場合、最も短いトレーニング時間（42,357.84秒）と最短の平均予測時間（1クリックイベントあたり0.595秒）を達成した。
• クロスエントロピー損失を用いた1500ユニットのネットワークでは、トレーニング時間が長くなった（60,109.86秒）と予測時間が長くなった（0.844秒）ことが示され、性能と効率のトレードオフが明らかになった。
• すべての設定において、TOP1損失バージョンがBPR損失バージョンを常に上回り、精度と推論速度の両面で優れた性能を示した。
• 計算効率を犠牲にすることなく高いパフォーマンスを維持しており、実世界の展開に適している。
• アブレーションスタディの結果、変分推論を用いたベイジアン定式化が、スパースデータにおける不確実性の捕捉と一般化性能の向上に有効であることが確認された。