[论文解读] Large Language Model Simulator for Cold-Start Recommendation

Feiran Huang, Yuanchen Bei+7 more|arXiv (Cornell University)|Feb 14, 2024

Topic Modeling被引用 6

一句话总结

LLM-InS 引入一个大型语言模型交互模拟器，用于生成和 refine 模拟交互，适用于冷启动项目，统一冷启动和暖项训练，在冷启动推荐方面优于最先进基线。

ABSTRACT

Recommending cold items remains a significant challenge in billion-scale online recommendation systems. While warm items benefit from historical user behaviors, cold items rely solely on content features, limiting their recommendation performance and impacting user experience and revenue. Current models generate synthetic behavioral embeddings from content features but fail to address the core issue: the absence of historical behavior data. To tackle this, we introduce the LLM Simulator framework, which leverages large language models to simulate user interactions for cold items, fundamentally addressing the cold-start problem. However, simply using LLM to traverse all users can introduce significant complexity in billion-scale systems. To manage the computational complexity, we propose a coupled funnel ColdLLM framework for online recommendation. ColdLLM efficiently reduces the number of candidate users from billions to hundreds using a trained coupled filter, allowing the LLM to operate efficiently and effectively on the filtered set. Extensive experiments show that ColdLLM significantly surpasses baselines in cold-start recommendations, including Recall and NDCG metrics. A two-week A/B test also validates that ColdLLM can effectively increase the cold-start period GMV.

研究动机与目标

• 由于新项目缺乏历史交互，协同过滤中的冷启动挑战。
• 提出 LLM-InS，通过内容基础和行为信号来模拟冷启动项目的用户-项目交互。
• 开发一套筛选与 refine 工作流，以高效生成和利用冷启动项目的模拟交互。
• 在单一推荐框架内利用模拟与真实交互统一训练冷项和暖项。

提出的方法

• 引入一个 LLM 交互模拟器（LLM-InS）以从内容特征建模冷项的用户行为。
• 设计一个分层交互模拟器，包含基于嵌入的筛选步骤和基于提示的细化步骤。
• 修改 LLM 以模拟成对交互，并通过指令/输入/输出训练与推荐嵌入对齐。
• 使用筛选机制（Llama Subtower 和 Collaborative Subtower）来选择候选用户并细化交互。
• 采用提示方案通过与 LLM 的问答风格提示来细化模拟交互。
• 通过将模拟的冷项交互与真实暖项交互结合来更新嵌入，并重新训练常用 CF 骨干模型（MF、LightGCN、NGCF）。

实验结果

研究问题

• RQ1 LLM-InS 能否在总体、冷启动和暖项任务上超越最先进的冷启动推荐模型？
• RQ2 每个组件（嵌入筛选、细化提示、嵌入更新）对性能的贡献是什么？
• RQ3 经过微调的基于 LLM 的方法（LLM-InS）是否在冷启动场景中优于现有的基于 LLM 的推荐模型？

主要发现

• 在离线评估中，LLM-InS 在总体、冷启动和暖项推荐方面均超越九种最先进的冷启动方法和三种 LLM 模型。
• 消融研究显示细化阶段和嵌入筛选对性能提升的重要性。
• 在 CiteULike 和 MovieLens 的实验中，背骨（MF、NGCF、LightGCN）在 Recall@20 和 NDCG@20 上展示了显著的相对提升。
• 嵌入更新步骤有助于对齐冷暖项之间的分布，在更新后提升各指标的表现。