[论文解读] Adapting Large Language Models by Integrating Collaborative Semantics for Recommendation

Bowen Zheng, Yupeng Hou+5 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用 6

一句话总结

本文提出 LC-Rec，一种基于大语言模型（LLM）的新型推荐框架，通过树状结构向量量化方法实现物品索引，并针对特定对齐微调任务，整合语言语义与协同语义。通过学习有意义的离散物品索引并联合微调 LLM 以捕捉协同语义，LC-Rec 在无需候选集过滤的情况下，实现了序列推荐任务的最先进性能。

ABSTRACT

Recently, large language models (LLMs) have shown great potential in recommender systems, either improving existing recommendation models or serving as the backbone. However, there exists a large semantic gap between LLMs and recommender systems, since items to be recommended are often indexed by discrete identifiers (item ID) out of the LLM's vocabulary. In essence, LLMs capture language semantics while recommender systems imply collaborative semantics, making it difficult to sufficiently leverage the model capacity of LLMs for recommendation. To address this challenge, in this paper, we propose a new LLM-based recommendation model called LC-Rec, which can better integrate language and collaborative semantics for recommender systems. Our approach can directly generate items from the entire item set for recommendation, without relying on candidate items. Specifically, we make two major contributions in our approach. For item indexing, we design a learning-based vector quantization method with uniform semantic mapping, which can assign meaningful and non-conflicting IDs (called item indices) for items. For alignment tuning, we propose a series of specially designed tuning tasks to enhance the integration of collaborative semantics in LLMs. Our fine-tuning tasks enforce LLMs to deeply integrate language and collaborative semantics (characterized by the learned item indices), so as to achieve an effective adaptation to recommender systems. Extensive experiments demonstrate the effectiveness of our method, showing that our approach can outperform a number of competitive baselines including traditional recommenders and existing LLM-based recommenders. Our code is available at https://github.com/RUCAIBox/LC-Rec/.

研究动机与目标

• 解决大语言模型中的语言语义与推荐系统中的协同语义之间的语义鸿沟。
• 使大语言模型能够直接从完整物品集合中生成物品推荐，而无需候选集过滤。
• 设计一种有意义、无冲突且可扩展的物品索引机制，以捕捉物品之间的相似性。
• 开发深层次整合语言与协同语义的大语言模型对齐微调任务。
• 通过弥合两种不同的语义空间，充分挖掘大语言模型在序列推荐中的潜力。

提出的方法

• 提出一种具有均匀语义映射的树状结构向量量化（VQ）方法，用于分配离散、有意义且无冲突的物品索引。
• 设计一种分层索引方案，其中每一层从粗粒度到细粒度逐步优化语义表示。
• 引入三种对齐微调任务：序列物品预测、显式索引-语言对齐，以及面向隐式推荐的对齐。
• 将学习到的物品索引作为离散标记，嵌入大语言模型的自回归生成过程中，以实现直接物品生成。
• 利用对比学习与掩码预测目标，通过物品索引将语言语义与协同语义对齐。
• 端到端训练大语言模型，以用户交互序列为输入，使用物品索引作为输入标记，并预测序列中的下一个物品。

实验结果

研究问题

• RQ1 如何有效将离散的物品 ID 映射到与大语言模型语言理解兼容的语义空间？
• RQ2 何种物品索引机制可在避免冲突的同时保留物品相似性并支持可扩展性？
• RQ3 如何对大语言模型进行微调，以联合学习语言与协同语义，同时不损害泛化能力？
• RQ4 大语言模型能否利用集成语义，直接从完整物品集合中生成准确的物品推荐？
• RQ5 与纯语言基方法相比，通过索引集成协同语义在多大程度上提升了推荐质量？

主要发现

• LC-Rec 在三个大规模推荐数据集上优于多种竞争性基线模型，包括传统序列推荐模型与现有 LLM 基模型。
• 消融研究显示，每项提出的对齐微调任务均显著提升性能，其中面向隐式推荐的对齐任务带来的增益最大。
• 分层索引生成过程展现出从粗到细的语义细化特性，其中高层索引对内容变化的贡献大于低层索引。
• 随着更多索引层级的使用，生成的物品标题逐渐收敛至真实标签，证实了多层级索引方案的有效性。
• 通过索引集成协同语义后，生成的相似物品比基于文本嵌入余弦相似度的方法更具相关性，尤其在平台与类别特定推荐中表现更优。
• 即使在部分索引输入下，模型仍保持强泛化能力并生成语义连贯的物品标题，表明其在低资源场景下的鲁棒性。