[论文解读] A Practical Incremental Method to Train Deep CTR Models

Yichao Wang, Huifeng Guo+3 more|arXiv (Cornell University)|Sep 4, 2020

Recommender Systems and Techniques参考文献 18被引用 12

一句话总结

本文提出 IncCTR，一种用于推荐系统中深度点击率（CTR）模型训练的实用增量学习方法。通过解耦数据、特征和模型模块，IncCTR 仅使用新数据即可实现高效的增量更新，在工业数据集上实现与批量训练相当的 AUC 性能，同时训练时间最快提升至 270 倍。

ABSTRACT

Deep learning models in recommender systems are usually trained in the batch mode, namely iteratively trained on a fixed-size window of training data. Such batch mode training of deep learning models suffers from low training efficiency, which may lead to performance degradation when the model is not produced on time. To tackle this issue, incremental learning is proposed and has received much attention recently. Incremental learning has great potential in recommender systems, as two consecutive window of training data overlap most of the volume. It aims to update the model incrementally with only the newly incoming samples from the timestamp when the model is updated last time, which is much more efficient than the batch mode training. However, most of the incremental learning methods focus on the research area of image recognition where new tasks or classes are learned over time. In this work, we introduce a practical incremental method to train deep CTR models, which consists of three decoupled modules (namely, data, feature and model module). Our method can achieve comparable performance to the conventional batch mode training with much better training efficiency. We conduct extensive experiments on a public benchmark and a private dataset to demonstrate the effectiveness of our proposed method.

研究动机与目标

• 为解决深度 CTR 模型在批量训练模式下训练效率低下的问题，该问题会导致模型更新延迟时性能下降。
• 为工业推荐系统开发一种实用的增量学习框架，以适应随时间演变的数据和特征。
• 在显著提升训练效率的同时，保持高预测性能，通过增量更新实现。
• 在大规模工业数据集的真实场景中验证增量学习的有效性。

提出的方法

• IncCTR 框架由三个解耦模块组成：数据模块、特征模块和模型模块。
• 数据模块作为存储池，将历史数据与新到达的数据结合，用于增量训练。
• 特征模块提出一种策略，根据新数据中特征的出现频率，对现有特征和新特征进行扩展与初始化。
• 模型模块采用知识蒸馏（KD）进行微调，使用先前模型或自蒸馏方式保留先前权重中的知识。
• 评估了两种 KD 变体：KD-batch（使用独立教师模型）和 KD-self（自蒸馏），后者在实践中更为高效。
• 该方法通过仅在新数据上更新，避免了完整重训，显著缩短了训练时间，同时保持了模型性能。

实验结果

研究问题

• RQ1 增量学习是否能在大幅提升训练效率的同时，实现与批量训练相当的 CTR 预测性能？
• RQ2 所提出的特征扩展与初始化策略在增量更新过程中处理新特征方面的有效性如何？
• RQ3 知识蒸馏对增量 CTR 训练中模型稳定性和性能的影响如何？
• RQ4 在批量训练模式下，随着训练延迟增加，模型性能下降程度如何？增量学习能否缓解此问题？

主要发现

• 在 Criteo 数据集上，IncCTR 相较于批量训练将平均训练时间提升了 60 倍，与批量模式相比仅出现 0.08% 的 AUC 下降，性能损失可忽略。
• 在 HuaweiApp 数据集上，IncCTR 实现了 270 倍的训练时间提升，与批量基线相比仅出现 0.055% 的 AUC 下降。
• 当批量训练中模型更新延迟 5 天时，AUC 性能下降达 0.66%，凸显了高效增量方法的必要性。
• 消融实验表明，若不扩展新特征，经过长期增量训练后性能下降超过 0.1%，证实了特征扩展策略的必要性。
• 自蒸馏（KD-self）的知识蒸馏性能几乎与 KD-batch 相当，但无需额外计算成本，因此在工业部署中更具实用性。