[论文解读] Multi-Interest Network with Dynamic Routing for Recommendation at Tmall

Chao Li, Zhiyuan Liu+8 more|arXiv (Cornell University)|Apr 17, 2019

Recommender Systems and Techniques参考文献 28被引用 51

一句话总结

MIND 使用多向量表示用户兴趣，通过动态路由学习，在匹配阶段推荐中表现更好，并已部署在天猫移动端主页。其在公开数据集和工业数据上均优于基线。

ABSTRACT

Industrial recommender systems usually consist of the matching stage and the ranking stage, in order to handle the billion-scale of users and items. The matching stage retrieves candidate items relevant to user interests, while the ranking stage sorts candidate items by user interests. Thus, the most critical ability is to model and represent user interests for either stage. Most of the existing deep learning-based models represent one user as a single vector which is insufficient to capture the varying nature of user's interests. In this paper, we approach this problem from a different view, to represent one user with multiple vectors encoding the different aspects of the user's interests. We propose the Multi-Interest Network with Dynamic routing (MIND) for dealing with user's diverse interests in the matching stage. Specifically, we design a multi-interest extractor layer based on capsule routing mechanism, which is applicable for clustering historical behaviors and extracting diverse interests. Furthermore, we develop a technique named label-aware attention to help learn a user representation with multiple vectors. Through extensive experiments on several public benchmarks and one large-scale industrial dataset from Tmall, we demonstrate that MIND can achieve superior performance than state-of-the-art methods for recommendation. Currently, MIND has been deployed for handling major online traffic at the homepage on Mobile Tmall App.

研究动机与目标

• 激励建模多样化的用户兴趣以提升工业推荐系统中的匹配阶段。
• 提出一种基于动态路由的多兴趣提取层，将用户行为聚类为多个兴趣向量。
• 引入一种带标签感知的注意力机制，在评估目标物品时对齐多位用户兴趣向量。
• 在公开基准和大规模天猫工业数据集上展示有效性，并讨论面向亿级流量的部署。

提出的方法

• 通过一个多兴趣提取层，利用动态路由从历史行为中用 K 个兴趣向量 V_u 表示用户，形成兴趣胶囊。
• 使用共享双线性映射 S 与 Behavior-to-Interest（B2I）动态路由来计算 routing logits 并形成兴趣胶囊。
• 在评估目标物品时激活带标签感知的注意力层，对兴趣胶囊进行加权与组合。
• 使用采样 softmax 目标函数进行训练，以处理亿级物品，并使用 Adam 进行优化。
• 在在线服务时，使用多个人向量进行近似最近邻检索，选取 top-N 候选物品进行匹配。

实验结果

研究问题

• RQ1 在工业规模匹配中，多个兴趣表示是否能比单一向量更好地捕捉多样化的用户偏好？
• RQ2 基于动态路由的多兴趣提取是否能比简单聚合方法更好地将历史行为聚类为有意义的兴趣胶囊？
• RQ3 带标签感知的注意力机制在为给定目标物品选择和加权用户兴趣方面有多大效果？
• RQ4 在亿级规模 setting 下，兴趣数量（K）对离线和在线性能有何影响？

主要发现

• 采用多兴趣（K>1）的 MIND 在 Amazon Books 和 TmallData 的 HitRate@N 指标上持续超越基线（WALS、YouTube DNN、MaxMF 变体），且当用户多样性越高，提升越明显。
• 基于动态路由的多兴趣提取在性能上优于简单池化（如平均池化）和单向量方法如 YouTube DNN。
• 在线 A/B 测试表明，使用 5–7 个兴趣的 MIND 获得最佳 CTR，胜过基于项目的 CF 和 YouTube DNN；将兴趣数量增加到 7 以上回报递减。
• 带标签感知的注意力使目标物品能够选择并对最相关的兴趣进行加权，从而提升匹配准确性。