[论文解读] ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation

Yu Wang, Hengrui Zhang+3 more|arXiv (Cornell University)|Aug 27, 2022

Recommender Systems and Techniques被引用 4

一句话总结

ContrastVAE 提出了一种用于序列推荐的对比变分自编码器，通过将对比学习整合到变分自编码器中，以解决数据稀疏性、不确定性以及长尾商品的挑战。通过引入双视图训练目标（ContrastELBO）和新颖的增强策略——模型增强与变分增强，该方法提升了表征学习能力与鲁棒性，在四个基准数据集上实现了最先进性能，Recall@40 最高提升达 7.6%。

ABSTRACT

Aiming at exploiting the rich information in user behaviour sequences, sequential recommendation has been widely adopted in real-world recommender systems. However, current methods suffer from the following issues: 1) sparsity of user-item interactions, 2) uncertainty of sequential records, 3) long-tail items. In this paper, we propose to incorporate contrastive learning into the framework of Variational AutoEncoders to address these challenges simultaneously. Firstly, we introduce ContrastELBO, a novel training objective that extends the conventional single-view ELBO to two-view case and theoretically builds a connection between VAE and contrastive learning from a two-view perspective. Then we propose Contrastive Variational AutoEncoder (ContrastVAE in short), a two-branched VAE model with contrastive regularization as an embodiment of ContrastELBO for sequential recommendation. We further introduce two simple yet effective augmentation strategies named model augmentation and variational augmentation to create a second view of a sequence and thus making contrastive learning possible. Experiments on four benchmark datasets demonstrate the effectiveness of ContrastVAE and the proposed augmentation methods. Codes are available at https://github.com/YuWang-1024/ContrastVAE

研究动机与目标

• 为解决现有序列推荐模型的局限性，包括数据稀疏性、序列模式中的不确定性以及对长尾商品的泛化能力差的问题。
• 通过将对比学习整合到变分自编码框架中，缓解标准 VAE 中的后验坍缩与点估计问题。
• 设计有效的数据增强策略，为序列推荐中的对比学习生成语义上合理的第二视图。
• 通过一种新颖的双视图证据下界（ContrastELBO），建立 VAE 与对比学习之间的理论联系。
• 提升模型对现实用户行为数据中常见噪声或损坏输入序列的鲁棒性。

提出的方法

• 提出 ContrastELBO，作为标准 ELBO 的双视图扩展，通过最大化同一序列的两个增强视图之间的互信息，统一 VAE 训练与对比学习。
• 设计 ContrastVAE，一种双分支 VAE 架构，其中每个分支处理同一用户行为序列的不同增强视图，分支间共享参数。
• 提出模型增强，通过将同一输入序列输入一个扰动后的模型版本，生成第二视图，保持语义一致性。
• 提出变分增强，通过从潜在码的变分后验分布中采样，生成第二视图，引入随机性同时保持语义相关性。
• 使用联合损失函数优化模型，结合重建损失、KL 散度与两视图间互信息最大化，以提升表征的多样性与鲁棒性。
• 引入可学习的权重超参数，用于互信息损失，以平衡下一跳项目预测与对比学习目标。

实验结果

研究问题

• RQ1 对比学习能否有效缓解基于 VAE 的序列推荐模型中的后验坍缩与方差消失问题？
• RQ2 模型增强与变分增强策略在序列数据对比学习中如何提升正样本对的质量与一致性？
• RQ3 与标准 VAE 及自注意力基线模型相比，ContrastVAE 在长尾商品上的性能提升程度如何？
• RQ4 ContrastVAE 对噪声或损坏的输入序列（如存在缺失或替换项目）的鲁棒性如何？
• RQ5 在超参数调优下，对比学习与下一跳项目预测目标之间的最优权衡是什么？

主要发现

• ContrastVAE 在四个基准数据集（Beauty、Sports、Office 和 Toys）上达到最先进性能，Recall@40 相较基线模型最高提升 7.6%。
• 模型显著减少了后验坍缩，表现为后验与先验分布之间更高的 KL 散度值，尤其在低频与长尾商品上表现明显。
• ContrastVAE 对稀有商品保持了更高的潜在表征方差，防止了点估计坍缩，增强了对输入扰动的鲁棒性。
• 在序列中随机删除或替换项目的情况下，模型表现出更优的鲁棒性，优于 ACVAE、S3Rec 与 SASRec，且在所有损坏比率下均表现更佳。
• 超参数敏感性分析表明，互信息损失的权重适中时性能最优，若过度强调对比损失则性能下降。
• 消融实验确认，模型增强与变分增强均对性能提升有显著贡献，二者结合效果最佳。