[论文解读] LLMRec: Benchmarking Large Language Models on Recommendation Task

Junling Liu, Chao Liu+9 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用 6

一句话总结

LLMRec 提出了一套基准测试框架，用于评估大型语言模型（LLMs）在五项推荐任务上的表现——评分预测、序列推荐、直接推荐、解释生成和评论摘要，采用提示工程与监督微调方法。结果表明，LLMs 在可解释性任务中表现与最先进模型相当，但在评分预测等基于准确率的任务中表现不佳，凸显了对更优微调策略与数据多样性的需求。

ABSTRACT

Recently, the fast development of Large Language Models (LLMs) such as ChatGPT has significantly advanced NLP tasks by enhancing the capabilities of conversational models. However, the application of LLMs in the recommendation domain has not been thoroughly investigated. To bridge this gap, we propose LLMRec, a LLM-based recommender system designed for benchmarking LLMs on various recommendation tasks. Specifically, we benchmark several popular off-the-shelf LLMs, such as ChatGPT, LLaMA, ChatGLM, on five recommendation tasks, including rating prediction, sequential recommendation, direct recommendation, explanation generation, and review summarization. Furthermore, we investigate the effectiveness of supervised finetuning to improve LLMs' instruction compliance ability. The benchmark results indicate that LLMs displayed only moderate proficiency in accuracy-based tasks such as sequential and direct recommendation. However, they demonstrated comparable performance to state-of-the-art methods in explainability-based tasks. We also conduct qualitative evaluations to further evaluate the quality of contents generated by different models, and the results show that LLMs can truly understand the provided information and generate clearer and more reasonable results. We aspire that this benchmark will serve as an inspiration for researchers to delve deeper into the potential of LLMs in enhancing recommendation performance. Our codes, processed data and benchmark results are available at https://github.com/williamliujl/LLMRec.

研究动机与目标

• 探究现成的和微调后的 LLMs 在解决多样化推荐任务中的潜力。
• 评估 LLMs 从预训练知识泛化到推荐场景的能力，而无需特定任务的架构设计。
• 评估提示工程与监督微调在提升 LLMs 指令遵循能力与推荐性能方面的有效性。
• 在多种指标与定性标准下，将 LLMs 与现有推荐模型进行对比。
• 为未来基于 LLM 的推荐系统研究提供标准化基准。

提出的方法

• 该框架采用零样本提示工程，将 LLMs 适配至五项推荐任务：评分预测、序列推荐、直接推荐、解释生成与评论摘要。
• 设计高质量、任务特定的提示，以利用 LLMs 的世界知识与语言理解能力，同时确保指令遵循。
• 采用监督微调方法，结合 P-tuning V2，以在数据与计算资源有限的情况下适配 LLMs 至推荐任务。
• 实验基于 Amazon Beauty 数据集开展，结合自动指标与定性分析进行评估。
• 对比分析包括最先进模型如 P5，同时开展消融研究，涵盖微调参数、训练数据规模与数据多样性等因素。
• 定性评估聚焦于摘要质量与解释连贯性，以评估语义理解与推理能力。

实验结果

研究问题

• RQ1 未经特定任务微调的现成 LLMs 是否能有效执行推荐任务？
• RQ2 监督微调在多大程度上提升了 LLMs 在推荐任务中的性能与指令遵循能力？
• RQ3 LLMs 在基于准确率与可解释性的推荐任务中，与现有最先进模型相比表现如何？
• RQ4 提示设计、训练数据多样性与模型参数在 LLMs 推荐任务表现中扮演何种角色？
• RQ5 LLMs 在推荐场景中生成有意义、连贯且事实准确的解释与摘要的能力有多大？

主要发现

• 如 ChatGPT 和 ChatGLM-6B 等 LLMs 在评分预测等基于准确率的任务中表现中等，表明其在缺乏进一步适配的情况下能力有限。
• ChatGPT 在解释生成与评论摘要任务中优于最先进方法，生成结果更清晰、更合理。
• ChatGLM-6B 在所有任务中均取得高于 ChatGPT 的自动指标得分，表明其与提示指令对齐更好，个性化能力更强。
• LLMs 与 SOTA 模型在基于准确率任务中的性能差距，归因于其微调参数更少、训练数据更小，相较 P5 等模型。
• 数据多样性与多任务训练显著提升模型泛化能力，P5 因拥有 50 倍以上训练数据与多提示采样策略而表现更优。
• 定性分析确认，ChatGPT 与 ChatGLM 能生成捕捉关键评论内容的有意义摘要，而 LLaMA 无法摘要，仅重复输入内容。