[论文解读] COLD: Towards the Next Generation of Pre-Ranking System

Zhe Wang, Liqin Zhao+4 more|arXiv (Cornell University)|Jul 31, 2020

Recommender Systems and Techniques参考文献 16被引用 10

一句话总结

COLD 提出了一种协同设计的、在线的、轻量级深度预排序系统，通过联合优化模型性能与计算成本，实现在可控延迟下支持任意深度网络与跨特征的组合。在阿里巴巴的实际部署中，COLD 相较于当前最优的向量乘积 DNN 模型，实现了 6.1%–10.8% 的 CTR 和 RPM 提升。

ABSTRACT

Multi-stage cascade architecture exists widely in many industrial systems such as recommender systems and online advertising, which often consists of sequential modules including matching, pre-ranking, ranking, etc. For a long time, it is believed pre-ranking is just a simplified version of the ranking module, considering the larger size of the candidate set to be ranked. Thus, efforts are made mostly on simplifying ranking model to handle the explosion of computing power for online inference. In this paper, we rethink the challenge of the pre-ranking system from an algorithm-system co-design view. Instead of saving computing power with restriction of model architecture which causes loss of model performance, here we design a new pre-ranking system by joint optimization of both the pre-ranking model and the computing power it costs. We name it COLD (Computing power cost-aware Online and Lightweight Deep pre-ranking system). COLD beats SOTA in three folds: (i) an arbitrary deep model with cross features can be applied in COLD under a constraint of controllable computing power cost. (ii) computing power cost is explicitly reduced by applying optimization tricks for inference acceleration. This further brings space for COLD to apply more complex deep models to reach better performance. (iii) COLD model works in an online learning and severing manner, bringing it excellent ability to handle the challenge of the data distribution shift. Meanwhile, the fully online pre-ranking system of COLD provides us with a flexible infrastructure that supports efficient new model developing and online A/B testing.Since 2019, COLD has been deployed in almost all products involving the pre-ranking module in the display advertising system in Alibaba, bringing significant improvements.

研究动机与目标

• 为解决现有预排序系统受限于刚性、轻量级模型架构而在线推理性能不佳的问题。
• 实现在不牺牲延迟或可扩展性的前提下，在预排序中使用包含用户-广告交叉特征的复杂深度学习模型。
• 协同优化模型设计与系统级优化，以平衡计算资源成本与模型准确率。
• 构建一个完全在线、支持在线学习的基础设施，以实现快速模型迭代与 A/B 测试。
• 在工业级预排序系统中实现模型性能与推理成本之间的灵活权衡。

提出的方法

• COLD 采用联合优化框架，将计算资源成本视为与模型准确率同等重要的变量。
• 其采用轻量级、端到端可训练的深度神经网络架构，支持完整的用户-广告交叉特征，与传统向量乘积模型不同。
• 系统级优化包括混合精度推理（FP16 + CUDA MPS）和模型量化，以加速 GPU 上的推理过程。
• 系统支持在线学习与在线服务，能够实时适应数据分布的变化。
• 通过 Squeeze-and-Excitation（SE）模块建模特征重要性，以指导交叉特征的选择性使用，实现性能与成本之间的权衡。
• 模型在完全在线的流水线中进行训练与服务，支持快速 A/B 测试与部署。

实验结果

研究问题

• RQ1 预排序系统是否能在不产生高昂推理成本的前提下，实现超越向量乘积 DNN 模型的性能？
• RQ2 在生产环境的预排序系统中，如何联合优化模型复杂度与计算成本？
• RQ3 在线学习与在线服务在多大程度上能提升预排序系统对数据分布变化的适应能力？
• RQ4 在 GPU 上，哪些系统级优化最有效地加速深度预排序推理？
• RQ5 具有灵活特征选择能力的深度模型架构，是否能在保持可控性能-延迟权衡的同时维持高精度？

主要发现

• COLD 在正常日期实现了 6.1% 的 CTR 提升和 6.5% 的 RPM 提升，在双 11 促销活动期间实现了 9.1% 的 CTR 提升和 10.8% 的 RPM 提升，展现出显著的性能增益。
• 系统在单张 GPU 上实现了 6700 QPS 的吞吐量与 9.3ms 的响应时间，相较于在 CPU 上运行的向量乘积 DNN 模型（QPS 超过 60000），在考虑模型复杂度后，系统效率更高。
• 与 FP32 相比，使用 FP16 配合 CUDA MPS 将可用 QPS 提升了 2 倍，实现了全 GPU 利用率且未超出延迟约束。
• 平衡型 COLD 模型（COLD*）实现了 0.6391 的 GAUC，吞吐量为 6700 QPS，响应时间为 9.3ms，优于无交叉特征版本（GAUC 为 0.6281），同时保持了可接受的延迟。
• 完全在线的基础设施使系统能够快速适应数据分布变化，双 11 期间 9.1% 的 CTR 提升即证明了这一点。
• 消融实验验证了引入交叉特征可提升 GAUC（从 0.6281 提升至 0.6467），但会增加延迟，从而证实了性能与成本之间可控的权衡。