[论文解读] RecRanker: Instruction Tuning Large Language Model as Ranker for Top-k Recommendation

Sichun Luo, Bowei He+10 more|arXiv (Cornell University)|Dec 26, 2023

Topic Modeling被引用 5

一句话总结

RecRanker 提出了一种用于 top-k 推荐的指令微调大型语言模型（LLM）框架，通过自适应用户采样、位置偏移提示设计以及融合传统推荐模型信号，提升了性能。通过在混合排名策略中结合点对点、成对和列表级排序任务，RecRanker 在真实世界数据集上超越了 GPT-3.5-turbo 和标准 LLM，显著提升了命中率和 nDCG 指标，展现出最先进（SOTA）的性能。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable capabilities and have been extensively deployed across various domains, including recommender systems. Prior research has employed specialized extit{prompts} to leverage the in-context learning capabilities of LLMs for recommendation purposes. More recent studies have utilized instruction tuning techniques to align LLMs with human preferences, promising more effective recommendations. However, existing methods suffer from several limitations. The full potential of LLMs is not fully elicited due to low-quality tuning data and the overlooked integration of conventional recommender signals. Furthermore, LLMs may generate inconsistent responses for different ranking tasks in the recommendation, potentially leading to unreliable results. In this paper, we introduce extbf{RecRanker}, tailored for instruction tuning LLMs to serve as the extbf{Ranker} for top- extit{k} extbf{Rec}ommendations. Specifically, we introduce an adaptive sampling module for sampling high-quality, representative, and diverse training data. To enhance the prompt, we introduce a position shifting strategy to mitigate position bias and augment the prompt with auxiliary information from conventional recommendation models, thereby enriching the contextual understanding of the LLM. Subsequently, we utilize the sampled data to assemble an instruction-tuning dataset with the augmented prompts comprising three distinct ranking tasks: pointwise, pairwise, and listwise rankings. We further propose a hybrid ranking method to enhance the model performance by ensembling these ranking tasks. Our empirical evaluations demonstrate the effectiveness of our proposed RecRanker in both direct and sequential recommendation scenarios.

研究动机与目标

• 解决现有基于 LLM 的排序器仅关注单一排序任务且忽略传统推荐模型信号的问题。
• 通过引入重要性感知和基于聚类的用户采样策略，提升训练数据的质量与多样性。
• 通过指令微调期间的位置偏移策略，缓解 LLM 提示中的位置偏差。
• 通过将协同过滤模型的辅助信号注入自然语言提示，增强 LLM 的推理能力。
• 开发一种混合排序方法，集成点对点、成对和列表级排序头，以提升推荐性能。

提出的方法

• 自适应用户采样选择高互动性和代表性用户，以确保指令微调数据集的数据质量和多样性。
• 在推理过程中应用位置偏移策略于提示，以减少位置偏差，提升排序结果的公平性。
• 利用自然语言描述将传统推荐模型（如 MF、LightGCN）的辅助信号整合到提示中，以丰富上下文信息。
• 构建一个包含三种不同排序任务的指令微调数据集：点对点、成对和列表级排序，每类任务均配有增强提示。
• 通过加权集成方式融合三种排序头的预测结果，实现混合排序方法，以提升整体推荐准确率。
• 使用指令微调方法在筛选后的数据集上微调 LLaMA-2 模型，超参数按数据集规模成比例缩放。

实验结果

研究问题

• RQ1 将点对点、成对和列表级排序任务整合到单一指令微调 LLM 中，能否提升 top-k 推荐性能？
• RQ2 将传统推荐模型的辅助信号引入后，对基于 LLM 的排序质量有何影响？
• RQ3 自适应用户采样在多大程度上提升了模型在冷启动或低互动用户上的泛化能力与性能？
• RQ4 提示中的位置偏移策略是否能有效减少 LLM 生成排序结果中的位置偏差？
• RQ5 在真实世界推荐基准测试中，指令微调 LLM 的性能与 GPT-3.5-turbo 等专有 LLM 相比如何？

主要发现

• LLaMA-2（13B）在所有指标上均优于 7B 版本，表明更大的模型规模可增强推理与排序性能。
• 混合排序方法在所有评估指标上均达到最高性能，H@3 和 N@3 显著提升，证实了多任务学习的优势。
• 将训练指令数量从 5.6K 增加到 56K 导致性能持续提升，表明数据规模显著改善了指令微调 LLM 的表现。
• RecRanker 在 Bookcrossing 数据集上优于 GPT-3.5-turbo，验证了指令微调在推荐任务中优于零样本提示的有效性。
• 在 ML-100K 数据集上，使用 56K 条指令时，模型达到 H@3 为 0.0533 和 N@3 为 0.0368，展现出在标准基准数据集上的强劲性能。
• 单个 A800 GPU 上的平均推理时间为每项 0.059 秒，尽管在 16 个 A800 上训练耗时约 4.6 小时，凸显了较高的计算成本。