[论文解读] Bridging Items and Language: A Transition Paradigm for Large Language Model-Based Recommendation

Xinyu Lin, Wenjie Wang+4 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用 5

一句话总结

本文提出 TransRec，一种新颖的过渡范式，通过结合 ID、标题和属性的多维标识符，将大语言模型（LLMs）与推荐系统相连接，实现语义丰富性与独特性并存。它引入了约束性、无位置依赖的生成方式以及一个对齐模块，在三个真实世界数据集上的全样本和少样本设置下，显著提升了推荐的准确率与泛化能力。

ABSTRACT

Harnessing Large Language Models (LLMs) for recommendation is rapidly emerging, which relies on two fundamental steps to bridge the recommendation item space and the language space: 1) item indexing utilizes identifiers to represent items in the language space, and 2) generation grounding associates LLMs' generated token sequences to in-corpus items. However, previous methods exhibit inherent limitations in the two steps. Existing ID-based identifiers (e.g., numeric IDs) and description-based identifiers (e.g., titles) either lose semantics or lack adequate distinctiveness. Moreover, prior generation grounding methods might generate invalid identifiers, thus misaligning with in-corpus items. To address these issues, we propose a novel Transition paradigm for LLM-based Recommender (named TransRec) to bridge items and language. Specifically, TransRec presents multi-facet identifiers, which simultaneously incorporate ID, title, and attribute for item indexing to pursue both distinctiveness and semantics. Additionally, we introduce a specialized data structure for TransRec to ensure generating valid identifiers only and utilize substring indexing to encourage LLMs to generate from any position of identifiers. Lastly, TransRec presents an aggregated grounding module to leverage generated multi-facet identifiers to rank in-corpus items efficiently. We instantiate TransRec on two backbone models, BART-large and LLaMA-7B. Extensive results on three real-world datasets under diverse settings validate the superiority of TransRec.

研究动机与目标

• 解决现有物品索引方法在语义丰富性（基于描述）与唯一性（基于 ID）之间权衡的问题。
• 克服自回归大语言模型推荐中出现的语料外标识符生成问题。
• 降低对物品标识符初始标记的依赖，因为这些标记可能无法反映用户偏好。
• 通过允许大语言模型从任意子串生成标识符，实现无位置依赖的生成。
• 开发一种稳健的生成对齐机制，确保预测出的标识符均在语料范围内。

提出的方法

• 提出多维标识符，将物品 ID、标题和属性相结合，以同时实现独特性与语义表达力。
• 引入一种专用数据结构，将生成过程严格限制在语料库内的有效标识符范围内，防止生成语料外输出。
• 采用子串索引技术，使大语言模型能够从任意位置生成标识符，从而实现无位置依赖的生成。
• 设计一种约束生成策略，将大语言模型的输出词汇表限制为仅有效标识符，从而降低计算开销。
• 设计一种聚合对齐模块，综合来自多个标识符维度（ID、标题、属性）的匹配分数，实现稳健的物品检索。
• 在 BART-large 和 LLaMA-7B 上实现 TransRec，使用指令微调数据进行推荐任务的微调。

实验结果

研究问题

• RQ1 结合 ID、标题和属性的多维标识符是否能在基于大语言模型的推荐中同时提升独特性与语义表达力？
• RQ2 约束生成是否能防止生成语料外的标识符，并提升推荐的可靠性？
• RQ3 通过子串索引实现的无位置依赖生成，是否能降低对物品标识符初始标记的依赖？
• RQ4 TransRec 在具有挑战性的少样本和冷启动推荐设置下表现如何？
• RQ5 聚合对齐模块是否能有效融合多个标识符维度的信号，从而提升推荐准确率？

主要发现

• TransRec 在三个真实世界数据集上，在多种设置（包括全量训练、少样本和冷启动场景）下均达到最先进性能。
• 多维标识符设计通过平衡语义丰富性与唯一性，显著提升了推荐准确率。
• 约束生成通过有针对性地限制词汇表，减少了语料外推荐，提升了对齐准确率。
• 无位置依赖生成通过允许从任意子串生成标识符，提升了生成的灵活性与准确性，尤其在初始标记模糊或无信息时表现更优。
• 聚合对齐模块通过融合来自 ID、标题和属性维度的匹配分数，增强了推荐的鲁棒性。
• 实证结果表明，TransRec 在准确率与泛化能力方面均有持续提升，尤其在低数据场景（如冷启动和少样本学习）下表现突出。