[论文解读] Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data

Mao Ye, Dhruv Choudhary+7 more|arXiv (Cornell University)|Oct 16, 2020

Recommender Systems and Techniques参考文献 59被引用 6

一句话总结

本文提出了一种新颖的Dense-to-Sparse（D2S）范式及一种自适应剪枝算法（AUX），用于应对在线推荐系统中非平稳数据分布的挑战。通过维持一个稠密模型以实现持续适应，并采用基于梯度和幅值感知的剪枝策略，该方法能够动态学习逐层稀疏性，在分布偏移期间显著降低准确率损失，同时实现高效、按需生成的稀疏模型，且几乎无需人工调优。

ABSTRACT

Large scale deep learning provides a tremendous opportunity to improve the quality of content recommendation systems by employing both wider and deeper models, but this comes at great infrastructural cost and carbon footprint in modern data centers. Pruning is an effective technique that reduces both memory and compute demand for model inference. However, pruning for online recommendation systems is challenging due to the continuous data distribution shift (a.k.a non-stationary data). Although incremental training on the full model is able to adapt to the non-stationary data, directly applying it on the pruned model leads to accuracy loss. This is because the sparsity pattern after pruning requires adjustment to learn new patterns. To the best of our knowledge, this is the first work to provide in-depth analysis and discussion of applying pruning to online recommendation systems with non-stationary data distribution. Overall, this work makes the following contributions: 1) We present an adaptive dense to sparse paradigm equipped with a novel pruning algorithm for pruning a large scale recommendation system with non-stationary data distribution; 2) We design the pruning algorithm to automatically learn the sparsity across layers to avoid repeating hand-tuning, which is critical for pruning the heterogeneous architectures of recommendation systems trained with non-stationary data.

研究动机与目标

• 解决在非平稳数据分布偏移下，维持在线推荐系统模型准确率的挑战。
• 设计一种剪枝方法，可在推荐模型异构架构下自动学习每层的最优稀疏性，而无需人工调优。
• 实现高效、按需生成的稀疏模型，即使在数据分布偏移下也能保持性能。
• 克服标准剪枝在增量训练中的局限性，即剪枝后的模型因固定稀疏模式而无法适应的问题。

提出的方法

• 提出一种Dense-to-Sparse（D2S）训练范式，通过维持完整的稠密模型，实现对数据分布偏移的持续适应。
• 引入AUX剪枝算法，结合基于幅值的剪枝与泰勒近似，更准确地评估权重的重要性。
• 使用正则化项（λ）控制整体稀疏性，并允许在不同数据范围和模型尺寸下保持一致的稀疏率。
• 采用动态监控机制，检测稠密模型与稀疏模型之间的准确率偏差，并在需要时触发重新剪枝。
• 对全连接层应用非结构化剪枝，显著降低FLOPs与内存占用，同时保持模型性能。
• 利用稠密模型作为参考，验证并指导稀疏性自适应过程，确保在分布偏移下的鲁棒性。

实验结果

研究问题

• RQ1 如何在不降低模型准确率的前提下，有效将剪枝应用于具有非平稳数据的在线推荐系统？
• RQ2 何种剪枝策略能够实现在异构推荐架构中自动、逐层的稀疏性学习？
• RQ3 能否利用稠密模型作为稳定参考，实现在数据分布偏移下动态、按需生成稀疏模型？
• RQ4 将幅值与梯度相关的重要性度量相结合，相较于仅使用幅值的方法，如何提升剪枝性能？
• RQ5 正则化强度（λ）对所学习稀疏模式的一致性与性能有何影响？

主要发现

• 所提出的AUX剪枝算法相比标准幅值剪枝（MP）及其他基线方法，显著降低了准确率损失，尤其在数据分布偏移下表现更优。
• D2S范式通过利用稠密参考模型实现持续适应，使稀疏模型能够保持与稠密模型相当的性能。
• 各层稀疏性与层深度或大小无显著相关性，验证了采用自适应、学习得到的稀疏性而非启发式规则的必要性。
• 在使用相同λ值时，该算法可在不同数据段与模型尺寸下实现一致的稀疏率，显著降低调优开销。
• 在权重重要性评分中引入泰勒近似，可做出更优的剪枝决策，尤其对中等幅值权重表现更佳，从而提升整体模型鲁棒性。
• 对稠密与稀疏模型之间准确率偏差的动态监控，可实现实时重新剪枝，确保长期部署中的性能稳定。