[论文解读] DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving

Wei Deng, Junwei Pan+4 more|arXiv (Cornell University)|Feb 17, 2020

Recommender Systems and Techniques参考文献 59被引用 4

一句话总结

DeepLight 提出了一种轻量级、剪枝后的神经网络框架，用于加速实时广告投放系统中的点击率（CTR）预测。通过联合优化深度神经网络层的结构化剪枝、稀疏嵌入向量以及用于特征交互的字段加权矩阵，该方法在 Criteo 上实现了 46 倍的加速，在 Avazu 上实现了 27 倍的加速，且准确率无损失，使复杂模型在生产系统中得以高效部署。

ABSTRACT

Click-through rate (CTR) prediction is a crucial task in online display advertising. The embedding-based neural networks have been proposed to learn both explicit feature interactions through a shallow component and deep feature interactions using a deep neural network (DNN) component. These sophisticated models, however, slow down the prediction inference by at least hundreds of times. To address the issue of significantly increased serving delay and high memory usage for ad serving in production, this paper presents \emph{DeepLight}: a framework to accelerate the CTR predictions in three aspects: 1) accelerate the model inference via explicitly searching informative feature interactions in the shallow component; 2) prune redundant layers and parameters at intra-layer and inter-layer level in the DNN component; 3) promote the sparsity of the embedding layer to preserve the most discriminant signals. By combining the above efforts, the proposed approach accelerates the model inference by 46X on Criteo dataset and 27X on Avazu dataset without any loss on the prediction accuracy. This paves the way for successfully deploying complicated embedding-based neural networks in production for ad serving.

研究动机与目标

• 解决深度嵌入式 CTR 模型在实时广告投放系统中推理延迟高和内存开销大的问题。
• 克服生产环境中模型准确率与推理效率之间的权衡。
• 开发一种框架，实现在保持最先进预测性能的同时，实现快速、低内存的推理。
• 实现在严格延迟和资源限制下，大规模在线广告系统中复杂深度学习模型的实际部署。

提出的方法

• 提出 DeepFwFM，一种基于字段加权嵌入的神经网络，采用稀疏结构的字段矩阵，以高效建模特征交互。
• 在深度神经网络（DNN）组件中，于层间层级实施结构化剪枝，以去除冗余参数，同时保持性能。
• 将密集嵌入向量剪枝为稀疏表示，显著降低内存使用并提升推理速度。
• 采用基于预条件的优化策略，在压缩过程中引导剪枝，同时保持模型准确率。
• 将多种剪枝策略——DNN 层剪枝、字段矩阵稀疏化、嵌入向量稀疏化——整合为统一框架，命名为 DeepLight。
• 利用字段加权矩阵结构的固有稀疏性，实现高比率压缩，且不造成性能退化。

实验结果

研究问题

• RQ1 对深度神经网络层和嵌入向量进行结构化剪枝，是否能在不损失准确率的前提下加速 CTR 预测？
• RQ2 字段加权矩阵在实现高性能与高稀疏性方面有多高效，从而支持高效推理？
• RQ3 在真实广告投放系统中，模型压缩（延迟、内存）与预测准确率之间的最优权衡是什么？
• RQ4 在 DNN、字段矩阵和嵌入组件上采用统一的剪枝策略，是否能相比单独剪枝各组件获得更优的加速效果？

主要发现

• DeepLight 在 Criteo 数据集上实现 46 倍加速，在 Avazu 数据集上实现 27 倍加速，且 AUC 无损失，显著提升了推理速度。
• 在 Criteo 上，模型在 DNN 组件剪枝率达 99%、字段矩阵剪枝率达 95%、嵌入剪枝率达 40% 的情况下，仍保持 AUC 为 0.8114，推理延迟低至 0.093ms。
• 在 Avazu 上，模型实现 27 倍加速，DNN 剪枝率达 98%，字段矩阵剪枝率达 90%，嵌入无剪枝，AUC 保持在 0.7894。
• 该框架在 Criteo 上将内存使用减少最多达 10 倍，在 Avazu 上减少达 2.5 倍，显著提升了在线服务中模型存储与检索的效率。
• DeepLight 在速度和准确率上均优于 DeepFM、NFM 和 xDeepFM 的稀疏版本，在 Criteo 上达到 0.8114 的 AUC，优于稀疏 DeepFM 的 0.8032。
• 字段加权矩阵结构支持高稀疏性与高效剪枝，使其在 CTR 模型的结构化压缩中独具优势。