[论文解读] Large Language Model Can Interpret Latent Space of Sequential Recommender

Zhengyi Yang, Jiancan Wu+6 more|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling被引用 6

一句话总结

本文提出 RecInterpreter，一种框架，使大型语言模型（LLMs）如 LLaMA 能够解释并推理基于 ID 的序列推荐模型的潜在表征。通过使用轻量级适配器将推荐嵌入投影到 LLM 的 token 空间，并应用序列恢复和序列残差提示，RecInterpreter 允许 LLM 生成交互序列的准确文本描述，并从生成式推荐模型中实例化“理想项”——证明 LLM 能够理解并操作序列推荐模型中的隐藏表征，且表现优异。

ABSTRACT

Sequential recommendation is to predict the next item of interest for a user, based on her/his interaction history with previous items. In conventional sequential recommenders, a common approach is to model item sequences using discrete IDs, learning representations that encode sequential behaviors and reflect user preferences. Inspired by recent success in empowering large language models (LLMs) to understand and reason over diverse modality data (e.g., image, audio, 3D points), a compelling research question arises: ``Can LLMs understand and work with hidden representations from ID-based sequential recommenders?''.To answer this, we propose a simple framework, RecInterpreter, which examines the capacity of open-source LLMs to decipher the representation space of sequential recommenders. Specifically, with the multimodal pairs (\ie representations of interaction sequence and text narrations), RecInterpreter first uses a lightweight adapter to map the representations into the token embedding space of the LLM. Subsequently, it constructs a sequence-recovery prompt that encourages the LLM to generate textual descriptions for items within the interaction sequence. Taking a step further, we propose a sequence-residual prompt instead, which guides the LLM in identifying the residual item by contrasting the representations before and after integrating this residual into the existing sequence. Empirical results showcase that our RecInterpreter enhances the exemplar LLM, LLaMA, to understand hidden representations from ID-based sequential recommenders, especially when guided by our sequence-residual prompts. Furthermore, RecInterpreter enables LLaMA to instantiate the oracle items generated by generative recommenders like DreamRec, concreting the item a user would ideally like to interact with next. Codes are available at https://github.com/YangZhengyi98/RecInterpreter.

研究动机与目标

• 探究大型语言模型（LLMs）是否能够理解并推理基于物品 ID 序列训练的序列推荐模型所学习的潜在表征。
• 通过使 LLM 能够解释从物品 ID 序列中提取的隐藏表征，弥合 LLM 与序列推荐模型之间的差距。
• 提供一种方法，用于实例化生成式推荐模型（如 DreamRec）生成的理想项，即使这些项不在原始候选集之中。
• 通过 ChatGPT 的人类相似评估，评估 LLM 在理解与推理序列推荐表征方面的可解释性与实用性。

提出的方法

• 训练一个轻量级适配器，将序列推荐模型的潜在表征投影到 LLM 的 token 嵌入空间。
• 使用序列恢复提示，促使 LLM 生成用户交互历史中物品的文本描述。
• 使用序列残差提示，对比在整合一个残差物品前后表征的差异，使 LLM 能够识别并描述缺失或残差的物品。
• 该框架应用于 LLaMA-7B，其中推荐模型（GRU4Rec、Caser、SASRec、DreamRec）和 LLM 均为冻结状态，依赖成对多模态数据（表征与文本叙述）进行对齐。
• 通过 RecInterpreter 实例化 DreamRec 的理想项，并使用人类相似偏好比较（通过 ChatGPT）进行评估，用户需在推荐结果中选择更偏好的一项。

实验结果

研究问题

• RQ1 大型语言模型能否解释基于物品 ID 序列训练的序列推荐模型的潜在表征？
• RQ2 LLM 是否仅通过推荐模型的潜在表征，就能生成交互序列的准确文本描述？
• RQ3 LLM 是否能通过对比整合前后的表征，识别并描述序列中的残差物品？
• RQ4 RecInterpreter 是否能实例化生成式推荐模型（如 DreamRec）生成的理想项，即使这些项不在原始候选物品集合中？
• RQ5 在人类偏好评估中，基于 LLM 的推荐与传统推荐模型相比表现如何？

主要发现

• RecInterpreter 通过序列恢复提示，使 LLaMA 能够以高精度理解并描述交互序列，尤其在利用残差表征引导时表现更优。
• 序列残差提示策略使 LLM 能够识别并描述残差物品，有效解码缺失物品的潜在表征。
• 在 MovieLens 数据集中，28.13% 的 DreamRec 实例化理想项不在原始物品集中；在 Steam 数据集中，该比例达 48.67%，证明模型具备生成新颖推荐的能力。
• 在通过 ChatGPT 进行的人类偏好评估中，DreamRec 在 MovieLens 上优于 SASRec（50.53% 偏好 vs. 35.79%），在 Steam 上表现相当（48.09% vs. 51.15%）。
• 该框架成功兑现了生成式推荐模型的潜力，使 LLM 能够实例化并描述超出候选集范围的物品，验证了潜在表征的可解释性与实用性。