[论文解读] TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation

Keqin Bao, Jizhi Zhang+4 more|arXiv (Cornell University)|Apr 30, 2023

Topic Modeling参考文献 66被引用 13

一句话总结

TALLRec 使用轻量级 Alpaca 和 rec-tuning 阶段（使用 LoRA）对 LLaMA-7B 进行调优，使 LLMs 与推荐任务对齐，在少量样本下表现出色并具备跨领域泛化能力，优于传统和 In-context Learning 基线。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable performance across diverse domains, thereby prompting researchers to explore their potential for use in recommendation systems. Initial attempts have leveraged the exceptional capabilities of LLMs, such as rich knowledge and strong generalization through In-context Learning, which involves phrasing the recommendation task as prompts. Nevertheless, the performance of LLMs in recommendation tasks remains suboptimal due to a substantial disparity between the training tasks for LLMs and recommendation tasks, as well as inadequate recommendation data during pre-training. To bridge the gap, we consider building a Large Recommendation Language Model by tunning LLMs with recommendation data. To this end, we propose an efficient and effective Tuning framework for Aligning LLMs with Recommendation, namely TALLRec. We have demonstrated that the proposed TALLRec framework can significantly enhance the recommendation capabilities of LLMs in the movie and book domains, even with a limited dataset of fewer than 100 samples. Additionally, the proposed framework is highly efficient and can be executed on a single RTX 3090 with LLaMA-7B. Furthermore, the fine-tuned LLM exhibits robust cross-domain generalization. Our code and data are available at https://github.com/SAI990323/TALLRec.

研究动机与目标

• 弥合 LLM 训练任务与推荐任务之间的差距，构建一个大型推荐语言模型（LRLM）。
• 开发一个高效的两阶段调优框架（alpaca 调优和 rec-tuning）以在有限数据和 GPU 资源下使 LLMs 适应推荐任务。
• 证明经过调优的 LRLM 在少样本设置下在传统推荐器和 In-context Learning 基线上具备更优表现，并展示跨域泛化能力。

提出的方法

• 将推荐数据格式化为 rec-tuning 的指令-训练输入输出。
• 使用 Alpaca 调优与自我指令数据来提升 LLM 的泛化能力。
• 应用 rec-tuning 以使用历史交互预测目标项目的用户偏好来定制模型。
• 应用 LoRA 以实现对 LLaMA-7B 的轻量级参数高效微调，并冻结基础参数。
• 使用两阶段框架进行训练（先进行 Alpaca 调优再进行 rec-tuning），在单个 RTX 3090 上实现。
• 骨干模型选择聚焦开源的 LLaMA 而不是基于 API 的模型，以体现实际部署和数据安全性考量。

实验结果

研究问题

• RQ1 RQ1: TALLRec 与当前基于 LLM 的和传统的推荐模型相比表现如何？
• RQ2 RQ2: TALLRec 的不同组件如何影响其效果？
• RQ3 RQ3: TALLRec 在跨域推荐中的表现如何？

主要发现

少样本	GRU4Rec	Caser	SASRec	DROS	GRU-BERT	DROS-BERT	TALLRec
Movie	16	49.07	49.68	50.43	50.76	50.85	50.21	67.24
Movie	64	49.87	51.06	50.48	51.54	51.65	51.71	67.48
Movie	256	52.89	54.20	52.25	54.07	53.44	53.94	71.98
Book	16	48.95	49.84	49.48	49.28	50.07	50.07	56.36
Book	64	49.64	49.72	50.06	49.13	49.64	48.98	60.39
Book	256	49.86	49.57	50.20	49.13	49.79	50.20	64.38

• TALLRec 在少样本设置下显著优于传统和基于 LLM 的基线。
• 基于 GPT-3.5 的上下文学习提示在 rec-tuning 下表现不如经过调优的 LLM。
• Alpaca 调优有助于泛化，但 rec-tuning 对在少样本场景下实现强推荐性能至关重要。
• TALLRec 具备强大的跨域泛化能力（如从电影到书籍），并且将不同领域的数据结合使用时可进一步提升。
• GRU-BERT 与 DROS-BERT 变体在少样本设置下对改进有限，表明仅文本描述可能无法显著提升传统模型。
• 结果在不同数据集的 AUC 上显示明确提升，最终的 TALLRec 变体在所报告的表格中取得最高分。