[论文解读] Joint Optimization of Tree-based Index and Deep Model for Recommender Systems

Zhu Han, Daqing Chang+7 more|arXiv (Cornell University)|Feb 19, 2019

Recommender Systems and Techniques参考文献 40被引用 31

一句话总结

本文提出联合树优化（JTM），这是一种统一框架，可在推荐系统中联合训练基于树的索引结构与深度用户偏好模型。通过使用分层用户表示，在共享目标下联合优化两个组件，JTM 在推荐准确率和效率方面均取得显著提升，在大规模展示广告平台的在线A/B测试中，点击率（CTR）提升11.3%，千次展示收入（RPM）提升12.9%。

ABSTRACT

Large-scale industrial recommender systems are usually confronted with computational problems due to the enormous corpus size. To retrieve and recommend the most relevant items to users under response time limits, resorting to an efficient index structure is an effective and practical solution. The previous work Tree-based Deep Model (TDM) \cite{zhu2018learning} greatly improves recommendation accuracy using tree index. By indexing items in a tree hierarchy and training a user-node preference prediction model satisfying a max-heap like property in the tree, TDM provides logarithmic computational complexity w.r.t. the corpus size, enabling the use of arbitrary advanced models in candidate retrieval and recommendation. In tree-based recommendation methods, the quality of both the tree index and the user-node preference prediction model determines the recommendation accuracy for the most part. We argue that the learning of tree index and preference model has interdependence. Our purpose, in this paper, is to develop a method to jointly learn the index structure and user preference prediction model. In our proposed joint optimization framework, the learning of index and user preference prediction model are carried out under a unified performance measure. Besides, we come up with a novel hierarchical user preference representation utilizing the tree index hierarchy. Experimental evaluations with two large-scale real-world datasets show that the proposed method improves recommendation accuracy significantly. Online A/B test results at a display advertising platform also demonstrate the effectiveness of the proposed method in production environments.

研究动机与目标

• 为解决大规模推荐系统中树索引与用户偏好模型解耦训练导致的性能不佳问题。
• 在单一性能指标下统一优化树索引结构与深度用户偏好模型。
• 开发一种分层用户表示，利用树索引结构以提升模型训练效果。
• 实现无需内积约束的任意先进深度学习模型在候选召回中的应用。
• 通过联合学习提升真实工业系统中的推荐准确率与效率。

提出的方法

• 提出一种联合优化框架，通过统一的全局损失函数交替更新树索引与用户偏好模型。
• 引入一种分层用户表示，以在树索引的多个层级编码用户偏好。
• 推理阶段采用束搜索策略，逐层遍历树索引，利用预测的用户-节点偏好。
• 在树学习中采用惰性更新策略，减少每轮迭代的结构变化，提升收敛稳定性。
• 利用树中的最大堆性质：每个节点的偏好为其子节点偏好的最大值，实现对数时间复杂度。
• 采用迭代联合学习机制，根据预测目标的反馈，共同优化树结构与模型参数。

实验结果

研究问题

• RQ1 与独立训练相比，联合优化树索引与深度模型是否能提升推荐准确率？
• RQ2 结合索引与模型学习的统一目标函数是否能带来更好的收敛性与性能？
• RQ3 基于树结构生成的分层用户表示是否能增强模型泛化能力与召回质量？
• RQ4 该联合学习框架在大规模工业数据的真实生产环境中表现如何？
• RQ5 所提方法在离线指标与在线KPI上是否均优于现有基线方法（如TDM与Item-CF）？

主要发现

• 在淘宝展示广告平台的在线A/B测试中，JTM相较基线实现点击率（CTR）11.3%的相对提升。
• JTM使千次展示收入（RPM）提升12.9%，在生产环境中展现出更强的业务影响。
• 联合学习框架收敛稳定，优于最终出现过拟合的聚类式树学习方法。
• 在Amazon Books与UserBehavior数据集上，JTM在所有指标上均持续提升精确率、召回率与F1值。
• 所提出的分层用户表示与联合优化机制显著提升泛化能力与偏好预测准确性。
• 该方法使任意深度学习模型可在候选召回中使用，且无需满足内积约束，显著提升模型灵活性。