[论文解读] Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations

Jing Yao, Wei Xu+4 more|arXiv (Cornell University)|Nov 16, 2023

Topic Modeling被引用 7

一句话总结

该论文提出DOKE框架，通过三步法（知识准备、定制化、通过提示词进行自然语言表达）在不微调的前提下，为大语言模型（LLMs）注入领域特定知识。实验表明，结合协同过滤信号和物品属性能显著提升推荐系统中LLM的性能，尤其在稀疏或长用户历史场景下效果更佳。

ABSTRACT

The significant progress of large language models (LLMs) provides a promising opportunity to build human-like systems for various practical applications. However, when applied to specific task domains, an LLM pre-trained on a general-purpose corpus may exhibit a deficit or inadequacy in two types of domain-specific knowledge. One is a comprehensive set of domain data that is typically large-scale and continuously evolving. The other is specific working patterns of this domain reflected in the data. The absence or inadequacy of such knowledge impacts the performance of the LLM. In this paper, we propose a general paradigm that augments LLMs with DOmain-specific KnowledgE to enhance their performance on practical applications, namely DOKE. This paradigm relies on a domain knowledge extractor, working in three steps: 1) preparing effective knowledge for the task; 2) selecting the knowledge for each specific sample; and 3) expressing the knowledge in an LLM-understandable way. Then, the extracted knowledge is incorporated through prompts, without any computational cost of model fine-tuning. We instantiate the general paradigm on a widespread application, i.e. recommender systems, where critical item attributes and collaborative filtering signals are incorporated. Experimental results demonstrate that DOKE can substantially improve the performance of LLMs in specific domains.

研究动机与目标

• 解决在推荐系统等实际任务中LLMs缺乏领域特定知识的问题。
• 克服微调LLMs带来的计算成本高、过拟合或泛化能力下降等局限。
• 开发一种通用范式，通过提示工程将相关、最新且任务特定的知识注入LLMs。
• 评估不同类型领域知识（如物品属性和协同过滤信号）对LLM在推荐任务中性能的影响。
• 探究针对样本定制的、特定于样本的知识相较于全局或通用知识，如何提升LLM的推理能力。

提出的方法

• 使用领域知识提取器从大规模、动态变化的数据集中准备全面的领域知识。
• 知识定制化基于用户历史和候选物品，仅选择与当前输入样本最相关的信息。
• 将知识以可解释且兼容任何LLM的自然语言提示词形式表达。
• 该框架在不修改LLM参数的前提下，将物品属性和协同过滤（CF）信号（如共点击概率）整合到提示词中。
• 该方法依赖轻量级外部模型进行知识提取，因此在不同领域中均具备高效性和可扩展性。
• 在三个基准数据集（ML-1M、Beauty、Online Retail）上，使用ChatGPT等LLM对方法进行了评估。

实验结果

研究问题

• RQ1 注入领域特定知识对LLM在推荐任务中的性能有何影响？
• RQ2 哪种类型的领域知识——物品属性还是协同过滤信号——能带来最大的性能提升？
• RQ3 针对样本定制的知识与使用全局或静态知识相比，表现如何？
• RQ4 知识表达格式（如模板 vs. 推理路径）如何影响LLM的理解能力和性能？
• RQ5 在哪些用户或物品群体中（如长历史 vs. 短历史用户，热门 vs. 稀有物品）知识注入最为有效？

主要发现

• 在所有三个数据集中，引入协同过滤（CF）信号，特别是用户到物品（U2I）和基于历史-候选物品的I2I信号，均带来显著的性能提升。
• U2I信号带来的增益最大，表明用户-物品交互模式对LLMs极为有益，但目前尚未被充分挖掘。
• 针对样本定制的知识——特别是与当前用户和候选物品相关的CF信号——相比全局或非定制化知识，能更有效地提升性能。
• 全局CF信息有时反而会损害性能，表明无关或过于通用的知识可能误导LLMs。
• 使用知识图谱上的推理路径表达知识，性能略优于简单的文本模板，尽管增益有限，原因在于知识图谱质量较低且LLM具备较强的上下文知识能力。
• 该方法在用户交互历史较长和热门物品场景下最为有效，因为此时领域模式能被更可靠地学习和注入。