[论文解读] A Sparse Deep Factorization Machine for Efficient CTR prediction

Wei Deng, Junwei Pan+3 more|arXiv (Cornell University)|Feb 17, 2020

Image and Video Quality Assessment参考文献 30被引用 3

一句话总结

本文提出 DeepLight，一种稀疏深度因子分解机，通过显式搜索有信息量的特征交互、剪枝冗余的 DNN 层与参数，并促进嵌入稀疏化，从而加速点击率（CTR）预测。在 Criteo 和 Avazu 数据集上，分别实现了 46 倍和 27 倍的推理加速，且准确率无下降，使复杂模型在生产环境广告投放系统中的高效部署成为可能。

ABSTRACT

Click-through rate (CTR) prediction is a crucial task in online display advertising. The embedding-based neural networks have been proposed to learn both explicit feature interactions through a shallow component and deep feature interactions using a deep neural network (DNN) component. These sophisticated models, however, slow down the prediction inference by at least hundreds of times. To address the issue of significantly increased serving delay and high memory usage for ad serving in production, this paper presents \emph{DeepLight}: a framework to accelerate the CTR predictions in three aspects: 1) accelerate the model inference via explicitly searching informative feature interactions in the shallow component; 2) prune redundant layers and parameters at intra-layer and inter-layer level in the DNN component; 3) promote the sparsity of the embedding layer to preserve the most discriminant signals. By combining the above efforts, the proposed approach accelerates the model inference by 46X on Criteo dataset and 27X on Avazu dataset without any loss on the prediction accuracy. This paves the way for successfully deploying complicated embedding-based neural networks in production for ad serving.

研究动机与目标

• 解决基于嵌入的神经网络在在线广告投放中推理延迟高和内存占用大的问题。
• 在不牺牲预测准确率的前提下，减少复杂模型带来的服务延迟。
• 通过优化推理效率，实现深度学习模型在生产环境中的部署。
• 通过浅层和深层组件中的结构化稀疏性和剪枝，平衡模型表达能力与效率。

提出的方法

• 在浅层组件中显式搜索有信息量的特征交互，以减少冗余计算。
• 对深层神经网络（DNN）组件应用层内和层间剪枝，以移除冗余神经元和参数。
• 在嵌入层引入稀疏正则化，以仅保留最具判别性的信号。
• 结合稀疏特征交互学习、结构化剪枝和嵌入稀疏化，以加速推理。
• 设计统一框架，在不损害预测性能的前提下，将稀疏性和剪枝整合到模型各组件中。

实验结果

研究问题

• RQ1 显式搜索有信息量的特征交互是否能在不损害预测准确率的前提下降低推理成本？
• RQ2 层内和层间剪枝在 CTR 模型中对 DNN 推理的加速程度如何？
• RQ3 嵌入层中的稀疏正则化在减少内存使用的同时，对保留判别性信号的有效性如何？
• RQ4 稀疏性、剪枝与高效特征交互学习的结合，是否能在真实世界的 CTR 预测中实现显著的加速？

主要发现

• 与基线模型相比，DeepLight 在 Criteo 数据集上的推理速度实现了 46 倍的提升。
• 在 Avazu 数据集上，该框架实现了 27 倍的推理速度提升，同时保持了相同的预测准确率。
• 所提出的稀疏性和剪枝技术在显著降低计算和内存开销的同时，保持了模型性能。
• 稀疏特征交互学习、结构化剪枝和嵌入稀疏化的整合，使得复杂模型在生产环境中的高效部署成为可能。