[论文解读] Integrating Large Language Models into Recommendation via Mutual Augmentation and Adaptive Aggregation

Sichun Luo, Yuxuan Yao+10 more|arXiv (Cornell University)|Jan 25, 2024

Recommender Systems and Techniques被引用 4

一句话总结

本文提出 Llama4Rec，一种模型无关的框架，通过联合利用传统协同/序列模型与大语言模型（LLMs）进行互增强的数据与提示工程，并结合预测结果的自适应聚合，从而提升推荐性能。在三个真实世界数据集上的实证结果表明，该方法在强基线模型上实现了持续且显著的性能提升，证明了传统推荐方法与基于 LLM 的推荐方法之间协同整合的有效性。

ABSTRACT

Conventional recommendation methods have achieved notable advancements by harnessing collaborative or sequential information from user behavior. Recently, large language models (LLMs) have gained prominence for their capabilities in understanding and reasoning over textual semantics, and have found utility in various domains, including recommendation. Conventional recommendation methods and LLMs each have their strengths and weaknesses. While conventional methods excel at mining collaborative information and modeling sequential behavior, they struggle with data sparsity and the long-tail problem. LLMs, on the other hand, are proficient at utilizing rich textual contexts but face challenges in mining collaborative or sequential information. Despite their individual successes, there is a significant gap in leveraging their combined potential to enhance recommendation performance. In this paper, we introduce a general and model-agnostic framework known as extbf{L}arge extbf{la}nguage model with extbf{m}utual augmentation and extbf{a}daptive aggregation for extbf{Rec}ommendation ( extbf{Llama4Rec}). Llama4Rec synergistically combines conventional and LLM-based recommendation models. Llama4Rec proposes data augmentation and prompt augmentation strategies tailored to enhance the conventional model and LLM respectively. An adaptive aggregation module is adopted to combine the predictions of both kinds of models to refine the final recommendation results. Empirical studies on three real-world datasets validate the superiority of Llama4Rec, demonstrating its consistent outperformance of baseline methods and significant improvements in recommendation performance.

研究动机与目标

• 通过利用 LLM 驱动的数据增强来增强传统协同/序列模型，以解决推荐系统中的数据稀疏性和长尾问题。
• 通过提示工程注入协同与序列信号，提升基于 LLM 的推荐性能，克服 LLM 缺乏用户-物品交互感知能力的问题。
• 开发一种通用的、模型无关的框架，实现传统模型与 LLM 之间的双向增强，而非单向集成。
• 通过自适应聚合探索结果级融合，结合两类模型的预测结果，优化最终的推荐质量。
• 提供一个综合解决方案，将数据级、提示级与结果级增强整合于单一统一框架中。

提出的方法

• Llama4Rec 采用数据增强方法，为传统推荐模型生成合成的用户-物品交互数据，以提升其鲁棒性与泛化能力。
• 通过将用户行为序列与物品元数据注入 LLM 提示中，实施提示增强，使 LLM 能够推理协同与序列模式。
• 该框架采用可学习的自适应聚合模块，根据置信度与可靠性评分，动态融合传统模型与 LLM 的预测结果。
• 该方法具有模型无关性，可与多种主干模型（如 LightGCN 和基于 BERT 的序列模型）集成。
• 采用指令微调方法，使用任务特定 提示对 LLaMA-2 模型进行对齐，使其更契合推荐目标。
• 训练过程包括在增强的指令数据集上微调 LLM，超参数根据模型规模与数据规模进行调优。

实验结果

研究问题

• RQ1 传统推荐模型与 LLM 之间的互增强是否能在多种推荐任务中带来一致的性能提升？
• RQ2 通过提示工程整合协同与序列信号，是否能有效提升基于 LLM 的推荐质量？
• RQ3 对传统模型与基于 LLM 的模型预测结果进行自适应聚合，在多大程度上优于单一模型或简单平均策略？
• RQ4 模型规模与指令数据规模如何影响框架中 LLM 组件的性能与效率？
• RQ5 所提出的框架是否可在无需任务特定架构修改的前提下，泛化至不同数据集与推荐场景？

主要发现

• Llama4Rec 在 Bookcrossing、ML-1M 和 Yelp 三个真实世界数据集上均显著且一致地超越强基线模型，展现出良好的泛化能力。
• LLaMA-2 (13B) 模型优于 7B 版本，但性能提升有限，表明模型规模增大后收益递减。
• 将指令微调样本数从 2.5K 增加到 12.5K 可带来可测量的性能提升，尤其在直接推荐任务中表现显著，凸显了指令微调中数据规模的重要性。
• 在 16 块 A800 GPU 上，使用约 25K 条指令对 LLaMA-2 7B 模型进行训练耗时约 1.94 小时，单个物品的推理时间约为 0.059 秒，表明计算成本较高。
• 自适应聚合模块有效融合了两类模型的预测结果，性能优于任一模型单独使用或简单平均策略。
• 尽管计算需求较高，但随着高效推理与并行化技术的发展，该框架在未来部署方面展现出广阔前景。