[论文解读] Enhancing User Intent Capture in Session-Based Recommendation with Attribute Patterns

Xin Liu, Zheng Li+6 more|arXiv (Cornell University)|Dec 23, 2023

Recommender Systems and Techniques被引用 4

一句话总结

本文提出FAPAT，一种频繁属性模式增强的Transformer模型，通过将频繁紧凑的属性模式作为记忆来建模用户意图，从而提升会话推荐性能。通过门控注意力机制和Transformer模块将这些模式与会话序列融合，FAPAT在公开数据集和工业基准上实现了在Hits、NDCG和MRR指标上平均4.5%的性能提升。

ABSTRACT

The goal of session-based recommendation in E-commerce is to predict the next item that an anonymous user will purchase based on the browsing and purchase history. However, constructing global or local transition graphs to supplement session data can lead to noisy correlations and user intent vanishing. In this work, we propose the Frequent Attribute Pattern Augmented Transformer (FAPAT) that characterizes user intents by building attribute transition graphs and matching attribute patterns. Specifically, the frequent and compact attribute patterns are served as memory to augment session representations, followed by a gate and a transformer block to fuse the whole session information. Through extensive experiments on two public benchmarks and 100 million industrial data in three domains, we demonstrate that FAPAT consistently outperforms state-of-the-art methods by an average of 4.5% across various evaluation metrics (Hits, NDCG, MRR). Besides evaluating the next-item prediction, we estimate the models' capabilities to capture user intents via predicting items' attributes and period-item recommendations.

研究动机与目标

• 为解决现有会话推荐模型在捕捉用户意图方面的局限性，尤其是在短会话或噪声会话中表现不佳的问题。
• 通过用频繁紧凑的属性模式替代全局转移图，减少噪声和过平滑问题。
• 通过将属性模式作为记忆集成到时间建模中，以保留用户意图的演化过程。
• 通过属性估计和周期-项目推荐任务提升模型鲁棒性和意图理解能力。
• 证明在真实工业场景中，基于模式的增强方法优于全局图学习和预训练方法。

提出的方法

• 利用图模式挖掘从会话数据中提取频繁属性模式（如颜色或品牌序列），形成紧凑且高频的超边。
• 使用Jaccard相似度对属性模式进行排序和检索，以降低图的密度和计算成本。
• 通过门控机制和多头图注意力，将会话序列与学习到的属性模式表征对齐于共享嵌入空间。
• 采用带相对位置偏置的记忆增强自注意力机制，融合会话级动作信号与模式级信号，以增强表征能力。
• 最终融合表示通过Transformer模块处理，以建模长程依赖并丰富时间动态。
• 通过反向传播端到端训练框架，并通过消融实验验证各组件的贡献。

Figure 1 : Local session graph construction.

实验结果

研究问题

• RQ1 在全局图失效的短会话或匿名会话中，频繁属性模式是否能有效捕捉用户意图？
• RQ2 与全局转移图相比，基于模式的记忆增强在减少会话推荐中的噪声和过平滑方面表现如何？
• RQ3 属性模式建模在提升下一物品预测之外，能在多大程度上改善意图感知任务（如属性估计和周期-项目推荐）？
• RQ4 通过注意力机制将属性模式与序列建模结合，是否比预训练或GNN方法带来更好的泛化性能？
• RQ5 所提方法在包含1亿+交互的大规模工业数据上是否能保持强大性能？

主要发现

• FAPAT在公开基准和三个大规模工业数据集上，Hits@10、NDCG@10和MRR@10指标上实现了平均4.5%的性能提升。
• 该模型优于当前最先进方法，包括GraphFormer和原始Transformer，尤其在将编码器替换为FAPAT提出的架构时表现更优。
• 属性模式记忆显著减少了过平滑现象，并提升了模型鲁棒性，尤其在稀疏或噪声数据环境下。
• 在属性估计任务中，FAPAT在Beauty数据集上达到90.77%的Hits@10，在Tmall数据集上达到59.49%的MRR，优于所有基线模型。
• 在周期-项目推荐任务中，FAPAT在3、5和10次点击的时间窗口内均保持高召回率和NDCG，表明其具备强大的意图预测能力。
• 消融实验表明，若移除属性模式增强，性能将明显下降，验证了其在意图建模中的关键作用。

Figure 2 : A session graph enriched by multiplex attribute graphs.