[论文解读] Memory-efficient Embedding for Recommendations

Xiangyu Zhao, Haochen Liu+7 more|arXiv (Cornell University)|Jun 26, 2020

Recommender Systems and Techniques参考文献 55被引用 19

一句话总结

本文提出 AutoDim，一种自动机器学习（AutoML）框架，可自动为基于深度学习的推荐系统中的不同特征字段分配最优且可变的嵌入维度。通过使用可微分的连续优化过程学习维度权重，再将其提炼为离散的、固定的网络架构，AutoDim 在保持或提升基准数据集上推荐性能的同时，显著降低了内存使用量。

ABSTRACT

Practical large-scale recommender systems usually contain thousands of feature fields from users, items, contextual information, and their interactions. Most of them empirically allocate a unified dimension to all feature fields, which is memory inefficient. Thus it is highly desired to assign different embedding dimensions to different feature fields according to their importance and predictability. Due to the large amounts of feature fields and the nuanced relationship between embedding dimensions with feature distributions and neural network architectures, manually allocating embedding dimensions in practical recommender systems can be very difficult. To this end, we propose an AutoML based framework (AutoDim) in this paper, which can automatically select dimensions for different feature fields in a data-driven fashion. Specifically, we first proposed an end-to-end differentiable framework that can calculate the weights over various dimensions for feature fields in a soft and continuous manner with an AutoML based optimization algorithm; then we derive a hard and discrete embedding component architecture according to the maximal weights and retrain the whole recommender framework. We conduct extensive experiments on benchmark datasets to validate the effectiveness of the AutoDim framework.

研究动机与目标

• 解决因在所有特征字段上统一分配固定嵌入维度而导致的大规模推荐系统内存效率低下的问题。
• 基于特征的预测重要性和基数大小，自动确定不同特征字段的最优嵌入维度。
• 克服在成千上万个特征字段上进行手动或穷举式维度分配搜索的不可行性。
• 开发一个端到端的可微分框架，实现嵌入维度的连续、基于梯度的优化。
• 验证该框架在减少内存占用量的同时，保持或提升推荐准确性的有效性。

提出的方法

• 提出一种端到端可微分框架，为每个特征字段计算多个候选嵌入维度的软性、连续权重。
• 引入一种基于 AutoML 的优化算法，通过梯度下降联合学习维度权重和模型参数。
• 通过为每个特征字段选择学习权重最高的维度，推导出一个硬性、离散的嵌入架构。
• 采用两种嵌入查找方法和两种嵌入变换方法，评估其对维度分配决策的影响。
• 使用推导出的离散架构对最终推荐系统进行微调，以确保性能一致性。
• 采用离散架构搜索问题的可微分松弛形式，使反向传播能够通过维度选择过程。

实验结果

研究问题

• RQ1 一种自动化、数据驱动的方法能否有效为推荐系统中不同特征字段分配可变的嵌入维度？
• RQ2 特征分布、基数与最优嵌入维度之间的关系如何影响推荐性能？
• RQ3 对离散维度选择过程的可微分、连续松弛是否能实现有效且高效的基于 AutoML 的优化？
• RQ4 所提出的框架是否能在显著减少内存使用量的同时，实现相当或更优的推荐性能？
• RQ5 不同组合的嵌入查找与变换方法如何影响最终的维度分配决策？

主要发现

• 在基准数据集上，AutoDim 将总嵌入参数数量减少了高达 50%，同时保持或略微提升推荐性能。
• 该框架成功识别出高预测价值的特征（如地理位置、商品ID），并为其分配更大的嵌入维度，而对低基数特征（如性别）则分配更小的维度。
• 可微分的架构搜索过程实现了有效的基于梯度的优化，避免了在维度组合的离散空间中进行昂贵的搜索。
• 消融实验表明，嵌入查找与变换方法的选择会影响最终的维度分配，凸显了架构设计在优化过程中的重要性。
• 从软性权重中提炼出的硬性架构在性能上与统一分配维度的模型相当或更优，证明了蒸馏步骤的有效性。
• 该框架在多个真实世界基准数据集上均表现出良好的泛化能力，显示出在实际场景中的稳健性与可扩展性。