[论文解读] A Bi-Step Grounding Paradigm for Large Language Models in Recommendation Systems

Keqin Bao, Jizhi Zhang+7 more|arXiv (Cornell University)|Aug 16, 2023

Topic Modeling被引用 7

一句话总结

本文提出 BIGRec，一种两步对齐范式，首先通过指令微调将大语言模型（LLMs）对齐到推荐空间，生成有意义的物品描述，然后利用流行度和协同过滤等统计信号将这些描述映射到实际物品。该方法即使在少样本微调下也实现了最先进性能，优于全数据监督模型，表明 LLMs 从注入的统计先验中显著获益。

ABSTRACT

As the focus on Large Language Models (LLMs) in the field of recommendation intensifies, the optimization of LLMs for recommendation purposes (referred to as LLM4Rec) assumes a crucial role in augmenting their effectiveness in providing recommendations. However, existing approaches for LLM4Rec often assess performance using restricted sets of candidates, which may not accurately reflect the models' overall ranking capabilities. In this paper, our objective is to investigate the comprehensive ranking capacity of LLMs and propose a two-step grounding framework known as BIGRec (Bi-step Grounding Paradigm for Recommendation). It initially grounds LLMs to the recommendation space by fine-tuning them to generate meaningful tokens for items and subsequently identifies appropriate actual items that correspond to the generated tokens. By conducting extensive experiments on two datasets, we substantiate the superior performance, capacity for handling few-shot scenarios, and versatility across multiple domains exhibited by BIGRec. Furthermore, we observe that the marginal benefits derived from increasing the quantity of training samples are modest for BIGRec, implying that LLMs possess the limited capability to assimilate statistical information, such as popularity and collaborative filtering, due to their robust semantic priors. These findings also underline the efficacy of integrating diverse statistical information into the LLM4Rec framework, thereby pointing towards a potential avenue for future research. Our code and data are available at https://github.com/SAI990323/Grounding4Rec.

研究动机与目标

• 探究 LLM 在推荐系统中的综合排序能力，超越有限候选采样限制。
• 解决现有 LLM4Rec 方法仅在小候选集上评估的问题，避免无法反映真实全局排序性能。
• 开发一种两阶段对齐框架，使 LLM 能够生成语义上合理的物品标记，并将其对齐到真实世界物品。
• 探索如何有效整合流行度与协同过滤等统计信息到基于 LLM 的推荐中，以提升准确性。
• 评估 LLM 是否能从有限数据中有效学习，以及由于强语义先验的存在，更多数据带来的边际收益是否有限。

提出的方法

• 第一步通过用户偏好数据的指令微调，微调 LLM 以生成物品的描述性标记序列，包括真实物品与假设物品。
• 第二步通过计算生成描述与预训练解码器模型中物品嵌入之间的语义相似度，将生成的标记序列映射到实际物品。
• 通过式 (3) 定义的加权相似度评分函数，将流行度与协同过滤等统计信息注入第二步。
• 该框架通过仅用少量标注数据将 LLM 对齐到推荐空间，支持少样本学习，即使在监督信息有限的情况下也能实现有效生成。
• 该方法允许灵活地将多种统计特征集成到 LLM4Rec 流程中，提升推荐相关性，同时不改变 LLM 的核心架构。
• 推理阶段采用束搜索策略生成多样化的候选物品描述，随后从物品嵌入空间中检索最相似的真实物品。

实验结果

研究问题

• RQ1 当通过指令微调将 LLM 对齐到推荐空间时，LLM 是否能在推荐中实现强大的全局排序性能？
• RQ2 LLM 推荐性能随训练数据量增加如何变化？由于强语义先验的存在，边际收益是否趋于饱和？
• RQ3 流行度与协同过滤等统计信号在多大程度上能提升 LLM 生成的物品描述与真实物品的对齐效果？
• RQ4 与传统模型相比，将统计信息集成到 LLM4Rec 流程中是否能带来更大的性能增益？
• RQ5 两步对齐框架是否能以可扩展且高效的方式，有效平衡语义生成与真实物品检索？

主要发现

• 仅用 1,024 个样本进行训练的 BIGRec 在大多数指标上优于在全量数据上训练的传统模型（如 SASRec、Caser 和 DROS），尤其在 NDCG@K 和 Recall@K（K 值较大时）表现更优。
• 将流行度信息融入 BIGRec 可带来一致的性能提升，尤其在 K 值较高时，显著优于仅使用流行度作为推荐信号的方法。
• 通过对齐机制引入协同过滤信号，在 BIGRec 中带来的性能增益大于在传统模型中的增益，表明 LLM 更依赖语义信息，因此从互补的统计特征中获益更多。
• BIGRec 的训练数据量增加带来的边际收益有限，表明 LLM 在推理时更优先考虑语义先验，而非流行度与协同过滤等统计模式。
• 两步对齐框架成功解耦了语义生成与真实物品检索，实现了统计信号的有效集成，同时保留了 LLM 的生成能力。
• 该框架展现出强大的少样本泛化能力，在极少量微调数据下仍能保持高性能，凸显其高效性与可扩展性。