[论文解读] A Large Language Model Enhanced Conversational Recommender System

Yue Feng, Shuchang Liu+6 more|arXiv (Cornell University)|Aug 11, 2023

Topic Modeling被引用 5

一句话总结

本文提出 LLMCRS，一种通过四阶段工作流整合大型语言模型（LLM）以实现子任务管理、专家模型协作和响应生成的大型语言模型增强型对话推荐系统。该方法采用基于模式的指令、示范、动态模型匹配和基于摘要的响应生成，在 GoRecDial 和 TG-ReDial 基准测试中取得最先进性能，强化学习微调进一步提升了结果。

ABSTRACT

Conversational recommender systems (CRSs) aim to recommend high-quality items to users through a dialogue interface. It usually contains multiple sub-tasks, such as user preference elicitation, recommendation, explanation, and item information search. To develop effective CRSs, there are some challenges: 1) how to properly manage sub-tasks; 2) how to effectively solve different sub-tasks; and 3) how to correctly generate responses that interact with users. Recently, Large Language Models (LLMs) have exhibited an unprecedented ability to reason and generate, presenting a new opportunity to develop more powerful CRSs. In this work, we propose a new LLM-based CRS, referred to as LLMCRS, to address the above challenges. For sub-task management, we leverage the reasoning ability of LLM to effectively manage sub-task. For sub-task solving, we collaborate LLM with expert models of different sub-tasks to achieve the enhanced performance. For response generation, we utilize the generation ability of LLM as a language interface to better interact with users. Specifically, LLMCRS divides the workflow into four stages: sub-task detection, model matching, sub-task execution, and response generation. LLMCRS also designs schema-based instruction, demonstration-based instruction, dynamic sub-task and model matching, and summary-based generation to instruct LLM to generate desired results in the workflow. Finally, to adapt LLM to conversational recommendations, we also propose to fine-tune LLM with reinforcement learning from CRSs performance feedback, referred to as RLPF. Experimental results on benchmark datasets show that LLMCRS with RLPF outperforms the existing methods.

研究动机与目标

• 解决在单一对话界面中管理多个子任务（如偏好获取、推荐、解释和项目搜索）的挑战。
• 克服现有基于 LLM 的 CRS 在子任务管理与子任务特定优化方面缺乏有效机制的局限。
• 通过将 LLM 作为自然语言接口，提升响应质量，同时确保一致性、流畅性和信息量。
• 通过结构化提示和基于 CRS 反馈的强化学习微调，增强系统可控性与性能。
• 开发一个统一且可适应的框架，将 LLM 推理与专用专家模型整合，实现端到端的对话推荐。

提出的方法

• 将对话推荐工作流划分为四个阶段：子任务检测、模型匹配、子任务执行和响应生成。
• 采用基于模式的指令，标准化子任务检测，提升跨任务泛化能力与理解能力。
• 使用基于示范的指令，结合分布内对话示例，引导 LLM 生成适合任务的输出。
• 提出一种动态子任务与模型匹配机制，为每个检测到的子任务选择最合适的专家模型。
• 通过混合推理端点执行子任务，调用专用专家模型（如用于偏好提取或项目检索）。
• 应用基于摘要的生成方法，利用 LLM 将前期阶段的结果整合为连贯、信息丰富的响应。

实验结果

研究问题

• RQ1 如何有效利用 LLM 管理对话推荐系统中的多个子任务？
• RQ2 何种提示策略——基于模式、基于示范或基于摘要——最能有效引导 LLM 生成准确且上下文相关的响应？
• RQ3 子任务与专家模型之间的动态匹配能否提升单个推荐子任务的性能？
• RQ4 在 CRS 性能反馈上进行强化学习微调，能在多大程度上提升整体系统有效性？
• RQ5 与端到端的 LLM 纯模型方法相比，LLM 与专家模型的集成在推荐准确率和响应质量方面表现如何？

主要发现

• 采用强化学习微调（RLPF）的 LLMCRS 在 GoRecDial 和 TG-ReDial 上均达到最先进性能，所有指标均优于现有方法。
• 消融实验表明，移除基于模式的指令（-w/o SI）会使 HIT@10 降至 0.2963，MRR@10 降至 0.1228，NDCG@10 降至 0.1674，表明其在任务理解中的关键作用。
• 移除示范（-w/o DI）导致 BLEU-1 从 0.0528 降至 0.0412，Distinct-1 从 0.1659 降至 0.1588，证实其在维持响应质量与格式一致性方面的价值。
• 移除基于摘要的生成（-w/o SG）使 NDCG@10 降至 0.1691，BLEU-1 降至 0.0460，表明结构化摘要能提升响应连贯性与推荐准确率。
• 案例研究显示，LLMCRS 能正确推断用户偏好（如“斯科塞斯”和“剧情片”），并推荐《辛德勒的名单》且生成信息丰富、自然的响应；而基线 TG-ReDial 在推荐与响应质量方面均表现失败。
• 系统性能的提升归因于 LLM 推理、专家模型专业化与指令微调之间的协同效应，尤其在子任务检测与响应生成方面。