[论文解读] A Generic Network Compression Framework for Sequential Recommender Systems

Yang Sun, Fajie Yuan+4 more|arXiv (Cornell University)|Apr 21, 2020

Recommender Systems and Techniques参考文献 40被引用 8

一句话总结

该论文提出CpRec，一种通过利用嵌入和Softmax矩阵的分块自适应分解以及深层神经网络中的层间参数共享来压缩序列推荐系统（SRS）的通用框架。该方法在真实世界数据集上实现了高达4–8倍的模型压缩，同时训练/推理速度更快，且准确率得到提升或保持相当水平。

ABSTRACT

Sequential recommender systems (SRS) have become the key technology in capturing user's dynamic interests and generating high-quality recommendations. Current state-of-the-art sequential recommender models are typically based on a sandwich-structured deep neural network, where one or more middle (hidden) layers are placed between the input embedding layer and output softmax layer. In general, these models require a large number of parameters (such as using a large embedding dimension or a deep network architecture) to obtain their optimal performance. Despite the effectiveness, at some point, further increasing model size may be harder for model deployment in resource-constraint devices, resulting in longer responding time and larger memory footprint. To resolve the issues, we propose a compressed sequential recommendation framework, termed as CpRec, where two generic model shrinking techniques are employed. Specifically, we first propose a block-wise adaptive decomposition to approximate the input and softmax matrices by exploiting the fact that items in SRS obey a long-tailed distribution. To reduce the parameters of the middle layers, we introduce three layer-wise parameter sharing schemes. We instantiate CpRec using deep convolutional neural network with dilated kernels given consideration to both recommendation accuracy and efficiency. By the extensive ablation studies, we demonstrate that the proposed CpRec can achieve up to 4$\sim$8 times compression rates in real-world SRS datasets. Meanwhile, CpRec is faster during training\inference, and in most cases outperforms its uncompressed counterpart.

研究动机与目标

• 解决序列推荐系统（SRS）中大模型尺寸带来的挑战，这些挑战阻碍了在资源受限设备上的部署。
• 在不牺牲推荐准确率的前提下，降低内存消耗并加速训练和推理过程。
• 开发一种通用框架，适用于多种基于深度学习的SRS模型，不限于特定架构。
• 通过利用项目分布的长尾特性以及隐藏层中的结构化参数共享，克服现有压缩技术的局限性。
• 通过预训练紧凑模型实现高效的迁移学习，使其在下游任务中具有良好泛化能力。

提出的方法

• 通过利用SRS中项目长尾分布的特性，对输入嵌入和输出Softmax矩阵应用分块自适应分解，以实现近似。
• 引入三种层间参数共享策略——相邻块共享、跨块共享和跨层共享，以减少深层隐藏层中的参数量。
• 采用空洞卷积神经网络（如NextItNet）作为基础架构，以在准确率和效率之间取得平衡。
• 将分块分解与层间共享整合为统一框架，命名为Bio-NextItNet，以实现最优压缩效果与性能表现。
• 设计框架时注重模块化与可扩展性，支持与其它SRS模型（如GRU4Rec）的集成。
• 在真实世界数据集上使用标准指标（如Hit@20、MRR@5和HR@5）评估框架，并对压缩效果和速度进行消融实验。

实验结果

研究问题

• RQ1 对嵌入和Softmax矩阵进行自适应分解，能否在保持推荐准确率的同时显著减小模型尺寸？
• RQ2 不同的层间参数共享策略在压缩SRS模型深层隐藏层方面的有效性如何？
• RQ3 所提出的压缩框架在不降低性能的前提下，能在多大程度上提升训练和推理速度？
• RQ4 CpRec能否在不同SRS架构（如NextItNet和GRU4Rec）上实现泛化？
• RQ5 与完整尺寸模型相比，压缩后的模型在迁移学习场景中是否能保持或提升性能？

主要发现

• CpRec在真实世界SRS数据集上实现了高达4–8倍的压缩率，显著减小了模型尺寸。
• 结合分块压缩与层间压缩的Bio-NextItNet变体实现了最高的压缩比，并在准确率和训练速度上均优于原始NextItNet模型。
• 相邻块参数共享策略（Ab-NextItNet）在准确率与压缩率之间取得了最佳平衡，将参数量减少50%的同时保持或提升了性能。
• 跨层参数共享策略（Cl-NextItNet）实现了最高的压缩率，但导致显著的准确率下降，表明其权衡效果较差。
• 基于CpRec的模型训练和推理速度更快，在ColdRec数据集上，预训练时间缩短至原始模型的约1/5。
• 在迁移学习中，采用参数共享的CpRec模型（如CpRec-Ab）在MRR@5和HR@5指标上优于原始NextItNet，同时仅使用3150万参数（为原始模型的31%）。