[論文レビュー] Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation

Zhe Xie, Chengxuan Liu+4 more|arXiv (Cornell University)|Mar 19, 2021

Recommender Systems and Techniques参考文献 31被引用数 4

ひとこと要約

本稿では、敵対的変分ベイズ（AVB）を用いた敵対的訓練と対照的学習を統合することで、変分オートエンコーダーの性能を向上させる、新しい順序推薦モデルACVAEを提案する。潜在変数の次元間相関を低減し、パーソナライズド表現学習を向上させることで、4つの実世界データセットにおいて最先端の性能を達成し、既存のSOTA手法よりもリCALLおよびNDCG指標で優れている。

ABSTRACT

Sequential recommendation as an emerging topic has attracted increasing attention due to its important practical significance. Models based on deep learning and attention mechanism have achieved good performance in sequential recommendation. Recently, the generative models based on Variational Autoencoder (VAE) have shown the unique advantage in collaborative filtering. In particular, the sequential VAE model as a recurrent version of VAE can effectively capture temporal dependencies among items in user sequence and perform sequential recommendation. However, VAE-based models suffer from a common limitation that the representational ability of the obtained approximate posterior distribution is limited, resulting in lower quality of generated samples. This is especially true for generating sequences. To solve the above problem, in this work, we propose a novel method called Adversarial and Contrastive Variational Autoencoder (ACVAE) for sequential recommendation. Specifically, we first introduce the adversarial training for sequence generation under the Adversarial Variational Bayes (AVB) framework, which enables our model to generate high-quality latent variables. Then, we employ the contrastive loss. The latent variables will be able to learn more personalized and salient characteristics by minimizing the contrastive loss. Besides, when encoding the sequence, we apply a recurrent and convolutional structure to capture global and local relationships in the sequence. Finally, we conduct extensive experiments on four real-world datasets. The experimental results show that our proposed ACVAE model outperforms other state-of-the-art methods.

研究の動機と目的

• VAEベースの順序推薦モデルにおける近似事後分布の表現能力の制限を解決すること。
• より良いシーケンス生成と推薦を実現するため、生成された潜在変数の質と多様性を向上させること。
• 潜在次元間の相関を最小限に抑え、ユーザー間の識別性を最大化することで、パーソナライズドユーザー表現を強化すること。
• ハイブリッドRNN-CNNエンコーダー構造を用いて、長期的および短期的順序パターンを捉えること。
• 敵対的および対照的学習の有効性を検証すること。

提案手法

• 敵対的変分ベイズ（AVB）フレームワーク内に敵対的訓練を導入し、潜在変数を正則化し、次元間相関を低減する。
• 異なるユーザーに対して異なる潜在表現を促進するため、対照的損失を採用し、パーソナライゼーションと一般化能力を向上させる。
• 長期間のユーザー行動シーケンスにおける時間的依存性をモデル化するため、再帰的エンコーダー（LSTM）を用いる。
• RNNの後に1次元畳み込み層を適用し、シーケンス内の局所的・短期的パターンを捉える。
• VAE再構成損失、KLダイバージェンス、敵対的損失、対照的損失を組み合わせた共同最適化目的関数を最適化する。
• 本物の潜在変数と生成された潜在変数を区別するための識別器ネットワークを活用し、事後分布近似の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 AVBを用いた敵対的訓練は、順序VAEにおける潜在変数の質と多様性を向上させることができるか？
• RQ2 対照的学習は、順序推薦におけるパーソナライズドユーザー表現の区別能力を向上させるか？
• RQ3 敵対的および対照的学習の組み合わせは、標準VAEと比較して推薦性能にどのように影響を与えるか？
• RQ4 RNNエンコーダーの後に配置されたCNN層は、局所的順序パターンを効果的に捉えているか？
• RQ5 ハイパーパrameter α（敵対的重み）および β（対照的損失重み）は、モデル性能にどのように影響を与えるか？

主な発見

• ACVAEは、4つの実世界データセットにおいて、両方のリCALL@10およびNDCG@10指標で、最先端のモデルを上回る性能を達成した。
• アブレーションスタディの結果、AVBを削除すると性能が著しく低下し、潜在変数の質向上におけるAVBの役割が確認された。
• AVBを適用した際、潜在次元間の相関係数が顕著に低減されたことから、次元間依存性が低下したことが示された。
• 対照的学習はモデルの一般化能力を向上させ、特にKLダイバージェンスが弱い状況でβ = 0.5で最適な性能が得られた。
• RNNの後にCNN層を組み込むことで、局所的順序パターンをより効果的に捉えることができ、性能が向上した。
• ハイパーパramータ分析の結果、α = 0.05およびβ = 0.5が正則化と表現学習の間で最良のトレードオフをもたらした。