[论文解读] Multi-Interest-Aware User Modeling for Large-Scale Sequential Recommendations

Jianxun Lian, Iyad Batal+5 more|arXiv (Cornell University)|Feb 18, 2021

Recommender Systems and Techniques参考文献 35被引用 4

一句话总结

本文提出顺序用户矩阵（SUM），一种多通道记忆网络，通过学习兴趣级别和实例级别注意力、局部邻近去噪机制以及高速公路连接，对用户在序列推荐中的多样化、动态变化的兴趣进行建模。SUM在两个真实世界数据集上优于最先进模型，并在Bing原生广告的在线A/B测试中实现了1.46%的点击转化率提升和1.32%的收入增长。

ABSTRACT

Precise user modeling is critical for online personalized recommendation services. Generally, users' interests are diverse and are not limited to a single aspect, which is particularly evident when their behaviors are observed for a longer time. For example, a user may demonstrate interests in cats/dogs, dancing and food \& delights when browsing short videos on Tik Tok; the same user may show interests in real estate and women's wear in her web browsing behaviors. Traditional models tend to encode a user's behaviors into a single embedding vector, which do not have enough capacity to effectively capture her diverse interests. This paper proposes a Sequential User Matrix (SUM) to accurately and efficiently capture users' diverse interests. SUM models user behavior with a multi-channel network, with each channel representing a different aspect of the user's interests. User states in different channels are updated by an \emph{erase-and-add} paradigm with interest- and instance-level attention. We further propose a local proximity debuff component and a highway connection component to make the model more robust and accurate. SUM can be maintained and updated incrementally, making it feasible to be deployed for large-scale online serving. We conduct extensive experiments on two datasets. Results demonstrate that SUM consistently outperforms state-of-the-art baselines.

研究动机与目标

• 解决单向量用户表征在捕捉长行为序列中多样化、动态用户兴趣方面的局限性。
• 设计一种可扩展、支持增量更新的模型，适用于亚10ms延迟的实时在线服务。
• 通过多通道架构同时建模多种兴趣，提升序列推荐性能。
• 通过实例级别注意力和基于局部邻近去噪及高速公路连接的机制，增强表征学习的鲁棒性。

提出的方法

• SUM采用多通道记忆网络，每个通道代表一种独立的用户兴趣，实现对多样化偏好的并行建模。
• 通过兴趣级别和实例级别注意力，根据相关性和上下文动态将用户行为事件路由至相关通道。
• 每个通道中的擦除-添加更新机制利用注意力选择性地覆盖或保留记忆状态，提升兴趣追踪的精确性。
• 局部邻近去噪组件可抑制时间上接近但语义无关事件带来的噪声，增强模型鲁棒性。
• 通道之间的高速公路连接支持信息流动并改善梯度传播，有助于实现更深、更精确的建模。
• 该模型支持增量更新，可实现低延迟高效在线推理，适用于大规模部署。

实验结果

研究问题

• RQ1 多通道记忆网络能否有效建模长序列行为数据中多个多样化用户兴趣？
• RQ2 与仅使用兴趣级别注意力相比，实例级别注意力在多大程度上提升了兴趣表征的准确性？
• RQ3 局部邻近去噪机制在多大程度上减少了时间上接近但无关事件带来的噪声？
• RQ4 通道之间的高速公路连接对模型性能和训练稳定性有何影响？
• RQ5 SUM能否在真实世界工业在线服务环境中实现卓越的性能与可扩展性？

主要发现

• SUM在两个真实世界数据集上持续优于最先进基线模型，展现出在序列推荐任务中的卓越性能。
• 在Amazon和Taobao数据集上，SUM在AUC和NDCG指标上均取得显著提升，优于现有模型。
• 在Bing原生广告的在线A/B测试中，与基于GRU的生产模型相比，SUM实现了1.46%的点击转化率提升和1.32%的收入增长。
• 消融实验表明，所有组件——实例级别注意力、去噪机制和高速公路连接——均对模型性能有正向贡献。
• 增量更新机制使SUM能够保持低推理延迟，适用于大规模在线部署。