[论文解读] Embedding in Recommender Systems: A Survey

Maolin Wang, Xinjian Zhao+10 more|arXiv (Cornell University)|Oct 28, 2023

Recommender Systems and Techniques被引用 6

一句话总结

本综述全面概述了推荐系统中嵌入技术的应用，涵盖协同过滤、自监督学习、基于图的方法以及新兴的大语言模型（LLM）增强方法。文章强调了在可扩展性方面的创新，包括自动化机器学习（AutoML）、哈希技术和量化方法，并指出了基于嵌入的推荐系统中的关键挑战与未来研究方向。

ABSTRACT

Recommender systems have become an essential component of many online platforms, providing personalized recommendations to users. A crucial aspect is embedding techniques that convert the high-dimensional discrete features, such as user and item IDs, into low-dimensional continuous vectors, which can enhance the recommendation performance. Embedding techniques have revolutionized the capture of complex entity relationships, generating significant research interest. This survey presents a comprehensive analysis of recent advances in recommender system embedding techniques. We examine centralized embedding approaches across matrix, sequential, and graph structures. In matrix-based scenarios, collaborative filtering generates embeddings that effectively model user-item preferences, particularly in sparse data environments. For sequential data, we explore various approaches including recurrent neural networks and self-supervised methods such as contrastive and generative learning. In graph-structured contexts, we analyze techniques like node2vec that leverage network relationships, along with applicable self-supervised methods. Our survey addresses critical scalability challenges in embedding methods and explores innovative directions in recommender systems. We introduce emerging approaches, including AutoML, hashing techniques, and quantization methods, to enhance performance while reducing computational complexity. Additionally, we examine the promising role of Large Language Models (LLMs) in embedding enhancement. Through detailed discussion of various architectures and methodologies, this survey aims to provide a thorough overview of state-of-the-art embedding techniques in recommender systems, while highlighting key challenges and future research directions.

研究动机与目标

• 提供对现代推荐系统中前沿嵌入技术的系统性综述。
• 分析协同过滤、自监督学习和基于图的方法在捕捉用户-物品关系方面的有效性与局限性。
• 研究新兴技术如自动化机器学习（AutoML）、哈希技术和量化方法在提升基于嵌入系统的可扩展性与效率方面的应用。
• 探索将大语言模型（LLMs）与嵌入结合以增强推荐性能与可解释性的方法。
• 识别基于嵌入的推荐系统中的开放性挑战与未来研究方向，尤其关注效率、可解释性与偏见缓解问题。

提出的方法

• 将嵌入技术分类为协同过滤（例如，矩阵分解、因子分解机）、自监督学习（例如，对比学习与生成学习）以及基于图的方法（例如，node2vec、图自编码器）。
• 回顾利用数据增强以及对比或生成目标的自监督学习策略，以在无显式标签的情况下学习鲁棒嵌入。
• 考察将用户-物品交互建模为异构网络以通过节点级表示捕捉复杂结构关系的基于图的方法。
• 分析提升可扩展性的技术，如用于超参数优化的自动化机器学习（AutoML）、用于紧凑表示的哈希技术，以及用于降低内存与推理成本的量化方法。
• 研究基于大语言模型的方法，通过提示工程（例如，ChatRec）或微调（例如，PEPLER、PPR）生成嵌入，将用户/物品ID视为可学习的标记。
• 评估混合训练策略，如在PEPLER中采用两阶段微调，结合下一项标记预测与评分预测，使用负对数似然（NLL）与均方误差（MSE）损失。

实验结果

研究问题

• RQ1 协同过滤、自监督学习与基于图的方法在建模用户-物品交互及捕捉复杂关系方面有何差异？
• RQ2 基于嵌入的推荐系统在可扩展性方面面临哪些关键挑战？哈希与量化等技术如何应对这些挑战？
• RQ3 如何有效将大语言模型（LLMs）与基于嵌入的推荐系统集成，以提升性能与可解释性？
• RQ4 在将自动化机器学习（AutoML）、哈希与量化应用于嵌入模型时，模型准确率、计算成本与推理速度之间存在何种权衡？
• RQ5 LLM增强嵌入方法中存在哪些开放性挑战，尤其在偏见、资源需求与实时部署方面？

主要发现

• 协同过滤方法，尤其是矩阵分解与因子分解机，在稀疏数据环境下能有效捕捉用户-物品偏好，并缓解冷启动问题。
• 自监督学习技术，特别是对比学习与生成学习，在多种任务中表现出强泛化能力，但需精心设计数据增强策略与损失函数以实现稳定训练。
• 基于图的方法如node2vec与图自编码器能成功建模复杂网络结构，并通过用户-用户与物品-物品关系整合辅助信息。
• 量化与哈希等技术显著降低内存与计算成本，使系统可在资源受限环境中部署。
• LLM增强的嵌入方法如PEPLER与PPR通过自监督微调提升了推荐的可解释性与性能，实现了解释与预测之间更好的对齐。
• 尽管前景广阔，基于LLM的嵌入仍面临高计算需求、潜在偏见（如性别偏见）以及在实时系统中集成复杂性等挑战。