[论文解读] Improving Sequential Recommendations via Bidirectional Temporal Data Augmentation with Pre-training

Juyong Jiang, Zhang, Peiyan+7 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Text Analysis Techniques被引用 5

一句话总结

该论文提出BiCAT，一种用于序列推荐的双向时间数据增强方法，通过在反向物品生成过程中强制执行正向序列一致性，提升了模型在短序列上的鲁棒性。通过整合自知识蒸馏与信息性采样，BiCAT在极短序列（L ≤ 3）上相较SOTA模型实现了35.04%的平均Recall@5提升，优于ASReP与SASRec在短序列与长序列上的表现。

ABSTRACT

Sequential recommendation systems are integral to discerning temporal user preferences. Yet, the task of learning from abbreviated user interaction sequences poses a notable challenge. Data augmentation has been identified as a potent strategy to enhance the informational richness of these sequences. Traditional augmentation techniques, such as item randomization, may disrupt the inherent temporal dynamics. Although recent advancements in reverse chronological pseudo-item generation have shown promise, they can introduce temporal discrepancies when assessed in a natural chronological context. In response, we introduce a sophisticated approach, Bidirectional temporal data Augmentation with pre-training (BARec). Our approach leverages bidirectional temporal augmentation and knowledge-enhanced fine-tuning to synthesize authentic pseudo-prior items that retain user preferences and capture deeper item semantic correlations, thus boosting the model's expressive power. Our comprehensive experimental analysis on five benchmark datasets confirms the superiority of BARec across both short and elongated sequence contexts. Moreover, theoretical examination and case study offer further insight into the model's logical processes and interpretability. The source code for our study is publicly available at https://github.com/juyongjiang/BARec.

研究动机与目标

• 解决序列推荐中的冷启动问题，特别是极短用户序列（L ≤ 3）场景下现有方法表现不佳的问题。
• 克服仅反向数据增强（如ASReP）在伪先验物品生成过程中无法保留正向序列相关性的局限。
• 通过在增强序列与原始序列之间引入自知识蒸馏，弥合数据增强与模型表征之间的差距，提升对齐效果。
• 通过设计信息性正负样本采样策略，提升训练效率与泛化能力，防止过拟合。
• 开发基于BiCAT的预训练框架，实现微调阶段更快收敛与更优性能。

提出的方法

• 提出双向时间Transformer数据增强方法（BiCAT），在反向时间顺序下生成伪先验物品，同时施加正向学习约束，以保留正向序列依赖关系。
• 将正向约束整合至反向生成损失中，确保生成的物品不仅在反向中合理，也与下一个物品的正向预测保持一致。
• 在增强序列与原始序列之间应用自知识蒸馏，将‘教师’（增强）模型的上下文知识迁移至‘学生’（原始）模型，以改善表征学习。
• 设计信息性采样策略，基于相关性与多样性选择正负样本，加速优化并减少过拟合。
• 使用双向Kullback-Leibler（KL）散度对齐原始序列与增强序列的输出分布，提升模型鲁棒性与泛化能力。
• 以SASRec为骨干网络端到端训练模型，BiCAT应用于预训练阶段，以提升下游推荐性能。

实验结果

研究问题

• RQ1 是否可以通过强制正向序列一致性的反向数据增强，提升极短序列推荐的性能？
• RQ2 在增强序列与原始序列之间应用自知识蒸馏，是否能增强序列推荐中模型的鲁棒性与表征学习能力？
• RQ3 与均匀采样相比，所提出的的信息性采样策略在优化速度与泛化能力方面有何影响？
• RQ4 BiCAT预训练在多大程度上提升了微调阶段的收敛速度与性能表现？
• RQ5 与传统数据增强方法（如Mask、Crop、Replace、Add）相比，BiCAT在保留序列结构与推荐准确率方面表现如何？

主要发现

• 在极短序列（L ≤ 3）上，BiCAT相较SOTA模型实现了35.04%的平均Recall@5提升，显著优于ASReP与SASRec。
• 在长序列（20 < L ≤ 50）上，BiCAT相较SOTA模型将Recall@5提升了8.76%，展现出跨序列长度的泛化能力。
• BiCAT中的正向约束反向生成可生成更高质量的伪先验物品，表现为与正向序列相关性更强，且t-SNE可视化中聚类结构更清晰。
• 通过双向KL散度实现的自知识蒸馏有效缩小了增强序列与原始序列之间的分布差距，结合BiCAT与信息性采样后，相较SASRec实现了25.49%的平均性能提升。
• 传统数据增强方法（如Mask、Crop、Replace、Add）在Beauty与Phones数据集上均导致性能下降，而基于生成的方法（如ASReP与BiCAT）则提升性能，其中BiCAT效果最佳。
• t-SNE可视化结果表明，BiCAT增强了相似物品的语义聚类，从而实现更精确的下一物品预测，整体推荐质量更优。