[论文解读] Evaluating ChatGPT as a Recommender System: A Rigorous Approach

Dario Di Palma, Giovanni Maria Biancofiore+4 more|arXiv (Cornell University)|Sep 7, 2023

Topic Modeling被引用 7

一句话总结

本研究评估了ChatGPT作为零样本推荐系统在三个数据集（MovieLens Small、Last.FM、Facebook Book）上的表现，尽管存在覆盖范围和偏差方面的局限性，但其在准确率和冷启动推荐方面表现出色。结果显示，ChatGPT在无需微调的情况下，性能优于其他大语言模型，并与最先进推荐系统相当，通过结合协同过滤与基于内容的信号，充当混合推荐系统。

ABSTRACT

Large Language Models (LLMs) have recently shown impressive abilities in handling various natural language-related tasks. Among different LLMs, current studies have assessed ChatGPT's superior performance across manifold tasks, especially under the zero/few-shot prompting conditions. Given such successes, the Recommender Systems (RSs) research community have started investigating its potential applications within the recommendation scenario. However, although various methods have been proposed to integrate ChatGPT's capabilities into RSs, current research struggles to comprehensively evaluate such models while considering the peculiarities of generative models. Often, evaluations do not consider hallucinations, duplications, and out-of-the-closed domain recommendations and solely focus on accuracy metrics, neglecting the impact on beyond-accuracy facets. To bridge this gap, we propose a robust evaluation pipeline to assess ChatGPT's ability as an RS and post-process ChatGPT recommendations to account for these aspects. Through this pipeline, we investigate ChatGPT-3.5 and ChatGPT-4 performance in the recommendation task under the zero-shot condition employing the role-playing prompt. We analyze the model's functionality in three settings: the Top-N Recommendation, the cold-start recommendation, and the re-ranking of a list of recommendations, and in three domains: movies, music, and books. The experiments reveal that ChatGPT exhibits higher accuracy than the baselines on books domain. It also excels in re-ranking and cold-start scenarios while maintaining reasonable beyond-accuracy metrics. Furthermore, we measure the similarity between the ChatGPT recommendations and the other recommenders, providing insights about how ChatGPT could be categorized in the realm of recommender systems. The evaluation pipeline is publicly released for future research.

研究动机与目标

• 探究ChatGPT在无需微调或提示工程的情况下，作为零样本推荐系统的能力。
• 在标准评估指标下，对比ChatGPT与最先进推荐算法及其他大语言模型（GPT-3.5、PaLM-2）的性能表现。
• 分析ChatGPT在关键推荐场景中的行为：冷启动、重排序以及利用用户资料进行推荐。
• 评估不同领域（音乐、书籍、电影）中推荐结果的偏差、新颖性与覆盖范围。
• 理解ChatGPT的推荐模式如何与现有推荐范式（如协同过滤或基于内容的过滤）相契合。

提出的方法

• 使用三个真实世界数据集（MovieLens Small、Last.FM、Facebook Book）进行了全面的实验评估。
• 采用标准指标评估ChatGPT的推荐结果：MAP、Recall、Precision、F1、nDCG、Item Coverage、ACLT、ARP、EPC和PopREO。
• 将ChatGPT与8个基线推荐系统进行对比：UserKNN、ItemKNN、EASE-R、VSM、RP³β、AttributeUserKNN、AttributeItemKNN和Random。
• 通过向无历史交互记录的用户进行推荐，评估ChatGPT在冷启动场景下的表现。
• 探索ChatGPT利用用户资料对现有推荐列表进行重排序的能力，测试了基于流行度的基线和基于邻居的推荐列表。
• 分析模型在不同领域中的行为，以检测其在流行度偏差、新颖性以及与混合推荐策略一致性方面的模式。

实验结果

研究问题

• RQ1 ChatGPT能否在无需微调或提示工程的情况下，有效充当零样本推荐系统？
• RQ2 ChatGPT在多种评估指标下，与最先进推荐算法及其他大语言模型（如GPT-3.5和PaLM-2）相比，性能如何？
• RQ3 ChatGPT在多大程度上表现出流行度偏差？这种偏差如何影响推荐的多样性与覆盖范围？
• RQ4 ChatGPT能否有效利用用户资料对推荐结果进行重排序？在冷启动场景下，其个性化建议能力如何？
• RQ5 ChatGPT的推荐模式在多大程度上与既有的推荐范式（如协同过滤或基于内容的过滤）相一致？

主要发现

• ChatGPT在准确率指标上表现具有竞争力，其在Facebook Book上的MAP得分为0.47665，在MovieLens Small上的MAP得分为0.45979，优于GPT-3.5和PaLM-2。
• 在冷启动场景中，ChatGPT生成了相关性较高的推荐结果，并优于其他最先进推荐系统，展现出无需用户历史记录的强泛化能力。
• ChatGPT表现出较高的新颖性，尤其在书籍领域，其在Facebook Book上的ACLT得分为0.26594，表明其在长尾项目推荐方面表现强劲。
• 该模型表现出显著的流行度偏差，其在Facebook Book上的ARP值为0.61272，在MovieLens Small上的ARP值为0.47665，表明其倾向于推荐热门项目。
• ChatGPT的推荐结果更接近混合推荐与协同过滤系统，而非纯基于内容的推荐方法，表明其整合了多种信号类型。
• 尽管在准确率和新颖性方面表现优异，但ChatGPT在覆盖范围与多样性指标上表现欠佳，其在Facebook Book上的Item Coverage为1340，EPC为0.18142，表明其对较不热门项目的曝光有限。