[论文解读] Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders

Yupeng Hou, Zhankui He+2 more|arXiv (Cornell University)|Oct 22, 2022

Recommender Systems and Techniques被引用 6

一句话总结

本文提出 VQ-Rec，一种通过引入两阶段流程来学习可迁移的序列推荐表示的新方法：将物品文本映射为离散的向量量化编码，然后利用这些编码检索可学习的嵌入表示。通过将文本编码与最终的物品表示解耦，VQ-Rec 减少了对文本语义的过度依赖，并缓解了领域差异的影响，在六个跨领域和跨平台基准上实现了最先进性能。

ABSTRACT

Recently, the generality of natural language text has been leveraged to develop transferable recommender systems. The basic idea is to employ pre-trained language models~(PLM) to encode item text into item representations. Despite the promising transferability, the binding between item text and item representations might be too tight, leading to potential problems such as over-emphasizing the effect of text features and exaggerating the negative impact of domain gap. To address this issue, this paper proposes VQ-Rec, a novel approach to learning Vector-Quantized item representations for transferable sequential Recommenders. The main novelty of our approach lies in the new item representation scheme: it first maps item text into a vector of discrete indices (called item code), and then employs these indices to lookup the code embedding table for deriving item representations. Such a scheme can be denoted as "text $\Longrightarrow$ code $\Longrightarrow$ representation". Based on this representation scheme, we further propose an enhanced contrastive pre-training approach, using semi-synthetic and mixed-domain code representations as hard negatives. Furthermore, we design a new cross-domain fine-tuning method based on a differentiable permutation-based network. Extensive experiments conducted on six public benchmarks demonstrate the effectiveness of the proposed approach, in both cross-domain and cross-platform settings. Code and pre-trained model are available at: https://github.com/RUCAIBox/VQ-Rec.

研究动机与目标

• 为解决在可迁移序列推荐中预训练语言模型（PLM）文本编码与物品表示之间紧密绑定的问题，该问题可能过度强调文本特征并放大领域差距。
• 通过将语义文本表示与物品嵌入解耦，提升跨领域和跨平台推荐中的可迁移性。
• 设计一种表示方案，以增强对领域分布偏移的鲁棒性，同时保持序列行为建模能力。
• 设计一种对比预训练策略，使用混合领域和半合成的编码表示作为难负样本。
• 提出一种可微分的基于排列的网络，以实现代码-嵌入对齐，从而在跨领域微调中实现有效适应。

提出的方法

• 提出一种两阶段物品表示方案：文本 → 离散编码 → 嵌入查找，其中编码通过向量量化学习得到。
• 采用基于代码本的向量量化模块，将 PLM 编码的物品文本映射为离散索引（编码），从而实现语义与表示的解耦。
• 使用基于混合领域和半合成编码表示构成的难负样本的对比预训练目标，以提升泛化能力。
• 提出一种可微分的基于排列的网络，用于在微调过程中学习领域特定的代码-嵌入对齐，从而实现对新领域的有效适应。
• 利用预训练语言模型（PLMs）对物品文本进行编码，随后通过可学习的代码本生成每个物品的离散索引。
• 应用可学习的嵌入表，其中每个编码索引映射到一个稠密嵌入向量，构成最终的物品表示。

Figure 1. The overall framework of the proposed vector-quantized code-based transferable sequential recommender VQ-Rec.

实验结果

研究问题

• RQ1 通过离散编码将文本编码与物品表示解耦，是否能提升序列推荐中的可迁移性？
• RQ2 所提出的 VQ-Rec 方法在多领域预训练中如何缓解领域差距的负面影响？
• RQ3 使用混合领域和半合成编码表示作为难负样本，在多大程度上能提升模型的泛化能力？
• RQ4 可微分的基于排列的网络是否能有效实现微调过程中跨领域代码嵌入的对齐？
• RQ5 两阶段表示方案（文本 → 编码 → 表示）在跨领域和跨平台设置中是否优于直接基于 PLM 的物品表示？

主要发现

• VQ-Rec 在六个公开基准的跨领域和跨平台序列推荐设置中均实现了最先进性能。
• 该方法显著减少了对文本语义的过度依赖，通过将文本与最终表示解耦，提升了模型的泛化能力。
• 使用混合领域和半合成编码表示作为难负样本，可提升对比预训练效果，增强对领域偏移的鲁棒性。
• 可微分的基于排列的微调机制能够有效对齐跨领域的代码嵌入，提升适应速度与准确率。
• 实证结果表明，在零样本和少样本迁移场景下，VQ-Rec 相较于强基线方法（包括基于 PLM 和基于编码的方法）均表现出一致的性能提升。
• 消融实验确认，两阶段表示方案以及所提出的预训练/微调组件对性能提升至关重要。

Figure 2. Performance comparison w.r.t. increasing training data on “Office” and “Online Retail” datasets. The x-axis coordinates denote the proportion of original training data that the recommenders are trained on.