[论文解读] GenRec: Large Language Model for Generative Recommendation

Jianchao Ji, Zelong Li+5 more|arXiv (Cornell University)|Jul 2, 2023

Topic Modeling被引用 6

一句话总结

GenRec 提出了一种基于大语言模型（LLM）的生成式推荐框架，通过自然语言提示直接生成目标项目，利用用户和项目的文本描述。该方法在大规模数据集（如 MovieLens 25M）上显著优于现有方法，通过微调基于 LLaMA 的 LLM 并结合专门设计的提示工程与交互数据微调，有效整合了用户偏好与项目语义信息。

ABSTRACT

In recent years, large language models (LLM) have emerged as powerful tools for diverse natural language processing tasks. However, their potential for recommender systems under the generative recommendation paradigm remains relatively unexplored. This paper presents an innovative approach to recommendation systems using large language models (LLMs) based on text data. In this paper, we present a novel LLM for generative recommendation (GenRec) that utilized the expressive power of LLM to directly generate the target item to recommend, rather than calculating ranking score for each candidate item one by one as in traditional discriminative recommendation. GenRec uses LLM's understanding ability to interpret context, learn user preferences, and generate relevant recommendation. Our proposed approach leverages the vast knowledge encoded in large language models to accomplish recommendation tasks. We first we formulate specialized prompts to enhance the ability of LLM to comprehend recommendation tasks. Subsequently, we use these prompts to fine-tune the LLaMA backbone LLM on a dataset of user-item interactions, represented by textual data, to capture user preferences and item characteristics. Our research underscores the potential of LLM-based generative recommendation in revolutionizing the domain of recommendation systems and offers a foundational framework for future explorations in this field. We conduct extensive experiments on benchmark datasets, and the experiments shows that our GenRec has significant better results on large dataset.

研究动机与目标

• 探索大语言模型（LLM）在生成式推荐中的潜力，突破传统判别式排序方法的局限。
• 通过利用项目描述中的丰富文本信息，解决协同过滤与基于内容过滤方法在冷启动和数据稀疏性方面的局限。
• 开发一种灵活的、基于 LLM 的框架，直接生成推荐项目，而非对候选项目逐一打分。
• 证明提示工程与微调在提升 LLM 用于个性化推荐任务方面的有效性。
• 为未来基于 LLM 的生成式推荐系统研究提供基础。

提出的方法

• 设计专门的自然语言提示，引导 LLM 理解推荐任务与用户-项目交互关系。
• 在以文本序列形式表示的用户-项目交互数据上微调 LLaMA 主干 LLM，整合用户历史记录与项目描述。
• 采用序列到序列的生成方法，模型基于上下文直接生成下一个项目，而非计算排序分数。
• 使用包含用户历史、项目特征（如标题、类别）和生成指令的提示模板，以激发对目标项目的预测。
• 使用 AdamW 优化器，在 4 张 A5000 GPU 上训练 5 个周期，采用学习率预热调度，最大输入长度为 256 个 token。
• 同时利用用户交互序列与项目文本元数据（如标题、类别）作为输入，以增强模型对偏好与项目相关性的理解。

实验结果

研究问题

• RQ1 大语言模型能否被有效用于直接生成推荐，而非对候选项目进行排序？
• RQ2 在生成式设置中，整合项目描述的文本信息与用户交互历史如何提升推荐性能？
• RQ3 对交互数据进行提示工程与微调是否能显著增强基于 LLM 的生成式推荐效果？
• RQ4 在大规模数据集上，GenRec 与现有基于 LLM 的推荐模型（如 P5）相比性能如何？
• RQ5 生成式推荐范式能否在具有丰富交互数据的大规模稀疏数据集上实现有效扩展？

主要发现

• 在 MovieLens 25M 数据集上，GenRec 显著优于基线模型，尤其在命中率（HR）与归一化折损累计增益（NDCG）指标上表现突出。
• 在 MovieLens 25M 数据集上，GenRec 超过强基线模型 P5，表明其在利用大规模交互数据与文本特征方面更具优势。
• 该模型在大规模数据集上展现出强大的泛化能力，表明通过 LLM 整合语义信息可显著提升推荐准确性。
• 当交互数据丰富时，GenRec 的性能尤为突出，凸显了利用丰富文本与行为上下文的优势。
• 该框架具有高度灵活性，可适配多种 LLM，表明其在不同模型架构中具有广泛适用性。
• 在 https://github.com/rutgerswiselab/GenRec 开源代码与数据，支持结果复现与生成式推荐领域的进一步研究。