[论文解读] AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations

Xiangyu Zhao, Chong Wang+4 more|arXiv (Cornell University)|Feb 26, 2020

Recommender Systems and Techniques参考文献 39被引用 21

一句话总结

AutoEmb 提出了一种端到端可微的 AutoML 框架，可根据用户和项目在流式推荐系统中的实时流行度，自动选择其动态嵌入维度。通过将可学习控制器与可微架构搜索相结合，AutoEmb 提升了推荐性能和训练效率，尤其在数据稀缺条件下表现更优，在基准数据集上超越了固定维度基线模型。

ABSTRACT

Deep learning based recommender systems (DLRSs) often have embedding layers, which are utilized to lessen the dimensionality of categorical variables (e.g. user/item identifiers) and meaningfully transform them in the low-dimensional space. The majority of existing DLRSs empirically pre-define a fixed and unified dimension for all user/item embeddings. It is evident from recent researches that different embedding sizes are highly desired for different users/items according to their popularity. However, manually selecting embedding sizes in recommender systems can be very challenging due to the large number of users/items and the dynamic nature of their popularity. Thus, in this paper, we propose an AutoML based end-to-end framework (AutoEmb), which can enable various embedding dimensions according to the popularity in an automated and dynamic manner. To be specific, we first enhance a typical DLRS to allow various embedding dimensions; then we propose an end-to-end differentiable framework that can automatically select different embedding dimensions according to user/item popularity; finally we propose an AutoML based optimization algorithm in a streaming recommendation setting. The experimental results based on widely used benchmark datasets demonstrate the effectiveness of the AutoEmb framework.

研究动机与目标

• 为解决深度学习推荐系统中固定嵌入维度的局限性，该局限性会阻碍对不同流行度用户和项目进行最优表征学习。
• 在用户和项目流行度快速变化、手动调优维度不可行的实时流式环境中，实现自动化、动态的嵌入大小选择。
• 开发一种端到端可微的框架，支持可变嵌入维度，同时保持与标准深度学习架构的兼容性。
• 通过学习最优嵌入维度的 AutoML 控制器，适应不断演变的用户和项目交互模式，从而提升训练效率和推荐准确性。

提出的方法

• 扩展标准深度学习推荐系统，支持每个用户/项目的可变嵌入维度，将维度与固定全局设置解耦。
• 设计一个可微控制器网络，基于当前流行度（即交互次数）预测每个用户/项目的最优嵌入维度。
• 将嵌入维度选择建模为可微架构搜索问题，通过软松弛化实现对离散选择的反向传播。
• 使用强化学习或基于梯度的优化方法训练控制器，以在验证集上最大化推荐性能。
• 将控制器集成到流式推荐流水线中，支持新交互到达和流行度变化时的在线自适应。
• 使用软-argmax 或 Gumbel-Softmax 松弛化方法，使离散维度选择可微，从而支持端到端训练。

实验结果

研究问题

• RQ1 基于用户和项目流行度动态调整嵌入维度，是否能提升流式环境中的推荐性能？
• RQ2 与固定维度基线相比，端到端可微控制器在嵌入维度选择方面，在准确性和训练效率上的表现如何？
• RQ3 基于 AutoML 的维度选择在多大程度上能适应不同流行度水平，特别是在数据稀缺场景下？
• RQ4 所提出的框架在扩展至包含数百万用户和项目的大型真实推荐系统时，能否保持高性能？
• RQ5 控制器在用户和项目之间泛化能力的强弱，如何影响模型的鲁棒性和收敛性？

主要发现

• 与固定维度基线相比，AutoEmb 在多个基准数据集上显著提升了推荐性能，表现为更低的均方误差和更高的准确性。
• 在流行度较低时，该框架能以更小的嵌入维度实现更好性能，并在流行度增加时有效扩展至更大的维度。
• 基于 AutoML 的控制器显著减少了训练时间并加快了收敛速度，尤其在交互数据有限时表现更优。
• 可微控制器支持端到端优化，使系统能够学习最优维度分配，而无需人工调优。
• 该框架在用户和项目之间泛化良好，展现出对流式环境中动态流行度变化的鲁棒性。
• 消融实验确认，与统一嵌入大小相比，动态维度选择更为有效，尤其对高、低流行度用户/项目而言。