[論文レビュー] ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation

Yu Wang, Hengrui Zhang+3 more|arXiv (Cornell University)|Aug 27, 2022

Recommender Systems and Techniques被引用数 4

ひとこと要約

ContrastVAEは、データのスパarsity、不確実性、長尾アイテムの課題に対処するために、変分オートエンコーダー（VAE）に対照的学習を統合した順序推薦用の対照的変分オートエンコーダーを提案する。2視点学習目的（ContrastELBO）と新たな増幅戦略（モデル増幅および変分増幅）を導入することで、表現学習と耐性を向上させ、4つのベンチマークデータセットで最先端の性能を達成し、Recall@40で最大7.6%の向上を実現した。

ABSTRACT

Aiming at exploiting the rich information in user behaviour sequences, sequential recommendation has been widely adopted in real-world recommender systems. However, current methods suffer from the following issues: 1) sparsity of user-item interactions, 2) uncertainty of sequential records, 3) long-tail items. In this paper, we propose to incorporate contrastive learning into the framework of Variational AutoEncoders to address these challenges simultaneously. Firstly, we introduce ContrastELBO, a novel training objective that extends the conventional single-view ELBO to two-view case and theoretically builds a connection between VAE and contrastive learning from a two-view perspective. Then we propose Contrastive Variational AutoEncoder (ContrastVAE in short), a two-branched VAE model with contrastive regularization as an embodiment of ContrastELBO for sequential recommendation. We further introduce two simple yet effective augmentation strategies named model augmentation and variational augmentation to create a second view of a sequence and thus making contrastive learning possible. Experiments on four benchmark datasets demonstrate the effectiveness of ContrastVAE and the proposed augmentation methods. Codes are available at https://github.com/YuWang-1024/ContrastVAE

研究の動機と目的

• 既存の順序推薦モデルの限界、すなわちデータのスパarsity、順序パターンにおける不確実性、長尾アイテムへの一般化の悪さを解消すること。
• 標準的なVAEにおける後方分布崩壊（posterior collapse）と点推定問題を、変分オートエンコーディングフレームワークに対照的学習を統合することで軽減すること。
• 対照的学習に適した、ユーザー行動シーケンスの意味的に意味のある第二視点を生成する有効なデータ増幅戦略を開発すること。
• 新しい二重視点の下界（ContrastELBO）を通じて、VAEと対照的学習の理論的関連を確立すること。
• 実世界のユーザー行動データに一般的に見られるノイズや破損した入力シーケンスに対して、モデルの耐性を高めること。

提案手法

• 同じシーケンスの2つの増幅された視点間の相互情報量を最大化することで、標準的なELBOを拡張した二重視点のContrastELBOを提案。これにより、VAE学習と対照的学習が統合される。
• 同じユーザー行動シーケンスの異なる増幅された視点を処理する2本のブランチを持つVAEアーキテクチャ（ContrastVAE）を設計。ブランチ間でパラメータを共有する。
• 同じ入力シーケンスに、同じモデルの摂動版を適用することで第二視点を生成する「モデル増幅」を導入。これにより意味的整合性が保たれる。
• 潜在変数の変分後方分布からサンプリングすることで第二視点を生成する「変分増幅」を導入。これにより、意味的関連性を維持しながら確率的要因を導入する。
• 再構成損失、KLダイバージェンス、および2つの視点間の相互情報量最大化を統合した損失関数を最適化することで、表現の多様性と耐性を向上させる。
• 相互情報量損失に学習可能な重みハイパーパrameterを導入し、次アイテム予測と対照的学習の目的のバランスを調整する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、VAEベースの順序推薦モデルにおける後方分布崩壊と分散の消失を効果的に緩和できるか？
• RQ2 モデル増幅および変分増幅戦略は、順序データの対照的学習におけるポジティブペアの質と一貫性をどのように向上させるか？
• RQ3 標準VAEおよび自己注意ベースラインと比較して、ContrastVAEは長尾アイテムのパフォーマンスをどの程度向上させるか？
• RQ4 欠落や置換されたアイテムを含むノイズ混じりまたは破損した入力シーケンスに対し、ContrastVAEはどの程度耐性を示すか？
• RQ5 ハイパーパrameterチューニングの観点から、対照的学習と次アイテム予測の目的の最適なトレードオフは何か？

主な発見

• ContrastVAEは、Beauty、Sports、Office、Toysの4つのベンチマークデータセットで最先端の性能を達成し、ベースラインモデルと比較してRecall@40で最大7.6%の向上を示した。
• 後方分布と事前分布のKLダイバージェンスが高くなったことから、後方分布崩壊が顕著に軽減された。特に低頻度および長尾アイテムにおいて顕著であった。
• 希少アイテムの潜在表現における分散がより高く維持されており、点推定の崩壊を防ぎ、入力の摂動に対する耐性が向上した。
• シーケンス内のアイテムをランダムに削除または置換するノイズ条件下でも、ACVAE、S3Rec、SASRecをすべて上回る性能を示した。
• ハイパーパrameter感度分析の結果、相互情報量損失にやや高い重みを設定すると最適な性能が得られ、対照的学習の損失が過剰に強調されると性能が低下した。
• アブレーションスタディの結果、モデル増幅と変分増幅の両方が性能向上に寄与しており、併用することで最も優れた結果が得られた。