[论文解读] Hybrid Model with Time Modeling for Sequential Recommender Systems

Marlesson R. O. Santana, Anderson da Silva Soares|arXiv (Cornell University)|Mar 7, 2021

Recommender Systems and Techniques参考文献 17被引用 4

一句话总结

该论文提出了一种基于混合NARM的模型，通过增强的时间建模、统计特征工程以及训练技术，提升了旅行行程的会话推荐性能。通过整合时间模式、用户/城市统计信息以及损失加权策略，改进后的模型在WSDM WebTour 2021挑战赛中相较基线NARM模型实现了9.66%的准确率提升，优于所有当前最先进方法。

ABSTRACT

Deep learning based methods have been used successfully in recommender system problems. Approaches using recurrent neural networks, transformers, and attention mechanisms are useful to model users' long- and short-term preferences in sequential interactions. To explore different session-based recommendation solutions, Booking.com recently organized the WSDM WebTour 2021 Challenge, which aims to benchmark models to recommend the final city in a trip. This study presents our approach to this challenge. We conducted several experiments to test different state-of-the-art deep learning architectures for recommender systems. Further, we proposed some changes to Neural Attentive Recommendation Machine (NARM), adapted its architecture for the challenge objective, and implemented training approaches that can be used in any session-based model to improve accuracy. Our experimental result shows that the improved NARM outperforms all other state-of-the-art benchmark methods.

研究动机与目标

• 为解决基于用户序列交互推荐多城市行程最终目的地的挑战。
• 提升在时间敏感、噪声多且样本不平衡的旅行数据中会话推荐的性能。
• 开发可泛化的训练与架构增强方法，适用于任何会话推荐模型。
• 整合时间、统计与上下文特征，以更好地建模行程推进过程与用户行为。

提出的方法

• 在NARM架构基础上进行改进，采用双路径输入：一条通过注意力层，另一条绕过瓶颈层，以丰富解码器上下文。
• 将用户、城市及行程历史的类别特征与连续特征作为输入嵌入。
• 通过编码月份与行程时长作为时间特征，引入时间建模，以捕捉旅行季节性与行程长度特征。
• 采用焦点损失（focal loss），其中α=1，γ=3，以缓解高度倾斜的训练数据中的类别不平衡问题。
• 采用多任务学习与数据增强技术，提升模型对噪声多且稀疏用户会话的鲁棒性。
• 使用早停策略与RAdam优化器，并在所有模型中保持固定超参数，以确保公平比较。

实验结果

研究问题

• RQ1 时间与统计特征是否能提升旅行规划中会话推荐的性能？
• RQ2 如焦点损失与数据增强等训练技术，在类别不平衡、噪声多的会话数据中如何影响模型泛化能力？
• RQ3 对NARM进行架构修改在序列推荐任务中能带来多大性能提升？
• RQ4 所提出的增强方法是否可泛化至NARM以外的其他会话推荐模型？

主要发现

• 改进后的NARM模型（NARM V2）在测试集上达到Accuracy@4为0.545，相较原始NARM模型提升了9.66%。
• 仅应用训练与正则化改进的NARM V1相比原始NARM实现了4.62%的准确率提升，证明了训练技术本身具有显著影响。
• 原始NARM模型优于其他SOTA模型（如SASRec与Caser），确立了其作为后续改进的最强基线。
• 通过t-SNE对用户嵌入进行可视化显示，旅行月份是用户行为的强预测因子，不同旅行月份呈现出明显的聚类特征。
• 性能提升在多种消融实验设置下均保持一致，验证了时间建模与损失加权的有效性。
• 所提出的训练与架构增强方法具有可泛化性，可应用于其他会话推荐系统。