[论文解读] Wide & Deep Learning for Recommender Systems

Heng-Tze Cheng, Levent Koç+14 more|arXiv (Cornell University)|Jun 24, 2016

Recommender Systems and Techniques参考文献 8被引用 260

一句话总结

本文提出 Wide & Deep 学习，将广义线性模型与跨乘积特征的组合以及带嵌入的深度神经网络联合训练，以提升推荐系统的性能，并在 Google Play 上展示显著的在线增益。

ABSTRACT

Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are effective and interpretable, while generalization requires more feature engineering effort. With less feature engineering, deep neural networks can generalize better to unseen feature combinations through low-dimensional dense embeddings learned for the sparse features. However, deep neural networks with embeddings can over-generalize and recommend less relevant items when the user-item interactions are sparse and high-rank. In this paper, we present Wide & Deep learning---jointly trained wide linear models and deep neural networks---to combine the benefits of memorization and generalization for recommender systems. We productionized and evaluated the system on Google Play, a commercial mobile app store with over one billion active users and over one million apps. Online experiment results show that Wide & Deep significantly increased app acquisitions compared with wide-only and deep-only models. We have also open-sourced our implementation in TensorFlow.

研究动机与目标

• 激励在具有稀疏输入的大规模推荐系统中平衡记忆能力与泛化能力的需求。
• 介绍联合训练广义（wide）和深度（deep）组件的 Wide & Deep 学习框架。
• 描述在 Google Play 上的生产化部署并评估在线性能。
• 提供一个开源的 TensorFlow 实现以及实际的训练/部署考虑事项。

提出的方法

• 将广义部分定义为带有跨乘积特征变换的广义线性组件。
• 将深度组件定义为对类别特征使用嵌入层的前馈神经网络。
• 通过组合它们的输出并使用共享的逻辑损失进行优化，联合训练广义和深度组件。
• 训练期间对广义部分使用带 L1 正则化的 FTRL，对深度部分使用 AdaGrad。
• 实现一个热启动系统，在对新数据重新训练时重用嵌入和权重。
• 通过多线程和批处理优化服务以满足低延迟（≈10 ms）要求。

实验结果

研究问题

• RQ1 在大规模稀疏输入环境中，混合的 Wide & Deep 模型是否能提升相对于仅广义或仅深度模型的推荐准确性？
• RQ2 广义与深度组件的联合训练是否比基线带来更好的在线性能（获取量）并且离线指标在可接受范围？
• RQ3 此类混合模型在生产部署中的实际训练与服务考虑因素（延迟、吞吐量）是什么？

主要发现

模型	离线 AUC	在线获取增益
Wide (control)	0.726	0%
Deep	0.722	+2.9%
Wide & Deep	0.728	+3.9%

• Wide & Deep 相比广义单一控制获得了 +3.9% 的在线获取增益。
• Wide & Deep 比深度单一模型表现更佳，额外获得 +1.0% 的在线增益（统计显著）。
• Wide & Deep 的离线 AUC 为 0.728，略高于深度（0.722）和广义（0.726）。
• 使用多线程后，每批次服务延迟降至 14 ms，支持 Google Play 规模的可扩展部署。