[论文解读] Exploring the Impact of Large Language Models on Recommender Systems: An Extensive Review

Arpita Vats, Vinija Jain+2 more|arXiv (Cornell University)|Feb 11, 2024

Topic Modeling被引用 4

一句话总结

本文对推荐系统中的大语言模型（LLMs）进行了全面综述，提出了一套系统化的分类体系，并分析了提示工程、微调和检索增强生成等技术。结果表明，LLMs显著提升了个性化、可解释性以及跨领域适应能力，其中DEALRec方法实现了2%的数据效率，RLMRec则改善了协同过滤中的语义对齐。

ABSTRACT

The paper underscores the significance of Large Language Models (LLMs) in reshaping recommender systems, attributing their value to unique reasoning abilities absent in traditional recommenders. Unlike conventional systems lacking direct user interaction data, LLMs exhibit exceptional proficiency in recommending items, showcasing their adeptness in comprehending intricacies of language. This marks a fundamental paradigm shift in the realm of recommendations. Amidst the dynamic research landscape, researchers actively harness the language comprehension and generation capabilities of LLMs to redefine the foundations of recommendation tasks. The investigation thoroughly explores the inherent strengths of LLMs within recommendation frameworks, encompassing nuanced contextual comprehension, seamless transitions across diverse domains, adoption of unified approaches, holistic learning strategies leveraging shared data reservoirs, transparent decision-making, and iterative improvements. Despite their transformative potential, challenges persist, including sensitivity to input prompts, occasional misinterpretations, and unforeseen recommendations, necessitating continuous refinement and evolution in LLM-driven recommender systems.

研究动机与目标

• 建立一个系统化的分类体系，用于对基于LLM的推荐系统在应用类型和架构层面进行分类。
• 系统化梳理并分析提示工程、微调和检索增强生成等核心技术在推荐任务中的应用。
• 识别并解决传统推荐系统中的关键问题，如缺乏可解释性与泛化能力差，借助LLM的能力加以改进。
• 通过聚焦公平性、可解释性和排序质量的新基准，评估LLMs在推荐任务中的表现。
• 通过整合现有进展与开放挑战，为研究人员和实践者提供LLM有效部署的指导。

提出的方法

• 提出了一套分层的LLM驱动推荐系统的分类体系，涵盖LLM增强型、现成可用型、序列型、对话型、个性化型、知识图谱型、重排序型、提示工程型及微调型LLM系统。
• 引入并评估了如RLMRec等专用LLM模型，该模型通过跨视图对齐技术，将LLM的语义表征与协同信号相匹配。
• 在DEALRec中采用影响度与努力度得分进行数据剪枝，仅使用2%的训练数据即可微调LLM，同时保持性能不变，训练时间与资源成本降低超过95%。
• 构建了如INTERS这样的指令微调数据集，整合了21项任务下的43个数据集，以提升LLM在信息检索与推荐任务中的表现。
• 应用基于LLM的用户模拟器（如iEvaLM）与蒸馏技术，评估并增强对话式推荐系统中的交互质量。
• 提出FaiRLLM基准，包含八个敏感属性，用于评估LLM生成推荐中的公平性，揭示了如ChatGPT等模型在音乐与电影推荐中对特定敏感属性存在持续偏见。

实验结果

研究问题

• RQ1 如何在推荐系统整体生态中，对LLMs进行系统化分类与归类？
• RQ2 在推荐流程中，提示工程、微调与检索增强生成等技术中，哪些是最有效的LLM集成方法？
• RQ3 LLMs在推荐任务中能在多大程度上提升可解释性、个性化与跨领域泛化能力？
• RQ4 与传统模型相比，基于LLM的系统在公平性、透明度及交互式推荐场景中的表现如何？
• RQ5 在生产环境中部署LLM时面临的关键挑战是什么？如何通过新型架构与评估框架加以缓解？

主要发现

• LLMs显著提升了推荐任务中的上下文理解能力与零样本/少样本泛化能力，在动态场景与数据稀疏场景下优于传统模型。
• DEALRec仅使用2%的训练数据即可达到全量数据微调的性能水平，训练时间与资源消耗降低超过95%。
• RLMRec通过跨视图对齐技术，将LLM生成的语义表征与协同信号对齐，提升了推荐准确率，在基准数据集上表现更优。
• FaiRLLM揭示了LLM生成推荐中持续存在的公平性问题，如ChatGPT在音乐与电影推荐中对特定敏感属性存在偏见。
• iEvaLM表明，基于LLM的用户模拟器可实现稳健且交互式的对话式推荐系统评估，提升了模拟保真度与可解释性。
• Ranking GPT等指令微调模型在段落重排序基准上达到最先进性能，且通过蒸馏技术实现了专用LLM的高效部署。