[论文解读] Large Language Models for User Interest Journeys

Konstantina Christakopoulou, Alberto Lalama+11 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种框架，利用大语言模型（LLMs）通过聚类和提示调优，从交互日志中提取并命名个性化、持久的用户兴趣旅程。实验表明，LLMs 能够生成细致入微、类人的用户兴趣描述——例如“作为初学者弹尤克里里”——从而在工业平台中实现更可解释、旅程感知的推荐。

ABSTRACT

Large language models (LLMs) have shown impressive capabilities in natural language understanding and generation. Their potential for deeper user understanding and improved personalized user experience on recommendation platforms is, however, largely untapped. This paper aims to address this gap. Recommender systems today capture users' interests through encoding their historical activities on the platforms. The generated user representations are hard to examine or interpret. On the other hand, if we were to ask people about interests they pursue in their life, they might talk about their hobbies, like I just started learning the ukulele, or their relaxation routines, e.g., I like to watch Saturday Night Live, or I want to plant a vertical garden. We argue, and demonstrate through extensive experiments, that LLMs as foundation models can reason through user activities, and describe their interests in nuanced and interesting ways, similar to how a human would. We define interest journeys as the persistent and overarching user interests, in other words, the non-transient ones. These are the interests that we believe will benefit most from the nuanced and personalized descriptions. We introduce a framework in which we first perform personalized extraction of interest journeys, and then summarize the extracted journeys via LLMs, using techniques like few-shot prompting, prompt-tuning and fine-tuning. Together, our results in prompting LLMs to name extracted user journeys in a large-scale industrial platform demonstrate great potential of these models in providing deeper, more interpretable, and controllable user understanding. We believe LLM powered user understanding can be a stepping stone to entirely new user experiences on recommendation platforms that are journey-aware, assistive, and enabling frictionless conversation down the line.

研究动机与目标

• 通过建模超越短暂交互的持久用户兴趣，填补推荐系统中深层、可解释用户理解的空白。
• 使推荐平台能够支持用户的长期目标与旅程，例如学习一种乐器或发展兴趣爱好。
• 开发一种结合个性化聚类与 LLM 提示工程的框架，以提取并命名连贯、非短暂的用户兴趣旅程。
• 探究提示工程方法、模型架构以及数据质量对生成旅程名称质量的影响。
• 通过 LLM 驱动的用户建模，为旅程感知、辅助性及可控的用户体验奠定基础。

提出的方法

• 对长序列用户交互数据应用个性化聚类，以提取连贯、持久的兴趣旅程。
• 使用 few-shot 提示、提示调优和微调，使 LLM 与以自然语言命名提取出的旅程的任务对齐。
• 利用经专家命名的、精心整理的用户兴趣集合作为训练数据，以提升 LLM 输出的泛化能力与质量。
• 将 LLM 生成的旅程名称集成到可扩展的工业推荐平台中，以开展真实世界评估。
• 通过可配置的聚类参数控制提取旅程的粒度，实现可检查性与用户控制。
• 结合内容理解与聚类，将用户兴趣建模为持久的、目标导向的旅程，而非孤立的交互行为。

实验结果

研究问题

• RQ1 LLMs 是否能够生成与人类描述同样细致入微、可解释的用户兴趣旅程自然语言描述？
• RQ2 不同的提示工程方法（如 few-shot、提示调优、微调）如何影响生成旅程名称的质量与连贯性？
• RQ3 训练数据的质量与领域特异性在将 LLM 对齐至用户旅程理解任务中起到何种作用？
• RQ4 个性化聚类在提取连贯、持久用户旅程方面，相较于其他方法表现如何？
• RQ5 LLM 驱动的旅程建模在多大程度上能提升用户理解，并实现新型辅助性推荐体验？

主要发现

• LLMs 能够生成类人、细致入微的用户兴趣旅程描述——例如“烹饪意大利菜谱”或“作为初学者学习尤克里里”——展现出对用户活动序列的强大推理能力。
• 使用小规模但高质量、经专家整理的命名用户旅程数据集进行提示调优，可在多样化用户画像中实现最佳泛化能力与性能表现。
• 个性化聚类对于提取连贯、持久的旅程至关重要；若无此步骤，LLMs 难以推断出有意义且非冗余的兴趣模式。
• 在领域特定旅程数据上微调 LLM，相比零样本提示，能显著提升生成名称的相关性与可解释性。
• 该框架实现了可解释且可控的用户建模，使用户能够按旅程管理推荐内容，例如为特定兴趣增加或减少内容。
• 该方法已在工业推荐平台大规模验证，展现出在旅程感知、辅助性及低摩擦用户体验方面的强大潜力。