[论文解读] Contrastive Graph Prompt-tuning for Cross-domain Recommendation

Zixuan Yi, Iadh Ounis+1 more|arXiv (Cornell University)|Aug 21, 2023

Recommender Systems and TechniquesComputer Science被引用 3

一句话总结

该论文提出个性化图提示微调（PGPRec），一种用于跨域推荐的参数高效框架，通过使用用户特定的图提示（包含硬提示（邻近项目）和软提示（可学习嵌入））来微调预训练图神经网络。在冷启动场景下，其参数量最多减少74%，性能较最强基线提升11.41%，展现出卓越的效率与有效性。

ABSTRACT

Recommender systems are frequently challenged by the data sparsity problem. One approach to mitigate this issue is through cross-domain recommendation techniques. In a cross-domain context, sharing knowledge between domains can enhance the effectiveness in the target domain. Recent cross-domain methods have employed a pre-training approach, but we argue that these methods often result in suboptimal fine-tuning, especially with large neural models. Modern language models utilize prompts for efficient model tuning. Such prompts act as a tunable latent vector, allowing for the freezing of the main model parameters. In our research, we introduce the Personalised Graph Prompt-based Recommendation (PGPRec) framework. This leverages the advantages of prompt-tuning. Within this framework, we formulate personalized graph prompts item-wise, rooted in items that a user has previously engaged with. Specifically, we employ Contrastive Learning (CL) to produce pre-trained embeddings that offer greater generalizability in the pre-training phase, ensuring robust training during the tuning phase. Our evaluation of PGPRec in cross-domain scenarios involves comprehensive testing with the top-k recommendation tasks and a cold-start analysis. Our empirical findings, based on four Amazon Review datasets, reveal that the PGPRec framework can decrease the tuned parameters by as much as 74%, maintaining competitive performance. Remarkably, there's an 11.41% enhancement in performance against the leading baseline in cold-start situations.

研究动机与目标

• 为解决传统微调在跨域推荐中效率低下的问题，即尽管数据稀疏性较低，仍需更新全部模型参数。
• 通过高效的微调机制，将源域知识迁移至目标域，以提升冷启动用户的推荐性能。
• 在保持或提升性能的同时，减少图神经网络微调中的可训练参数数量。
• 探究个性化图提示（结合硬提示（邻近项目）和软提示（可学习嵌入））在跨域设置中增强表征学习效果的有效性。

提出的方法

• 在预训练阶段采用对比学习，以提升嵌入在不同域之间的泛化能力与鲁棒性。
• 基于用户交互过的项目，为每个用户构建个性化图提示，形成用于微调的用户特定图上下文。
• 硬提示源自用户交互图中实际的邻近项目，而软提示为可学习的嵌入向量。
• 通过冻结预训练图神经网络，仅微调提示嵌入实现提示微调，从而大幅减少参数更新。
• 将这些提示整合到图神经网络中，以优化目标域中的用户与项目表征。
• 采用两阶段流程：在源域上进行预训练（使用对比学习），随后在目标域上使用冻结的GNN权重进行提示微调。

实验结果

研究问题

• RQ1 与完整微调相比，个性化图提示是否能提升跨域推荐的效率与有效性？
• RQ2 硬提示（邻近项目）与软提示（可学习嵌入）在性能提升中各自及协同作用如何？
• RQ3 PGPRec框架在保持竞争力性能的前提下，能将可训练参数数量减少到何种程度？
• RQ4 该框架是否能显著提升跨域设置下冷启动用户的推荐性能？

主要发现

• 在Elec-Cloth数据集上，与最强基线（SGL PT）相比，PGPRec将可训练参数数量最多减少74%。
• 在Sport-Cloth数据集的冷启动场景中，PGPRec相较SGL PT实现了11.41%的性能提升，表明其在稀疏用户上的强大泛化能力。
• 在Elec-Phone数据集上，与SGL PT相比，PGPRec使冷启动用户的性能提升了8.27%，凸显其在低数据场景下的有效性。
• 采用五个硬提示和三个软提示的PGPRec变体取得了最佳整体性能，表明硬提示对性能提升的贡献显著高于软提示。
• 在Elec-Phone数据集上，PGPRec的微调速度比完整微调快31%，证实了其训练效率。
• 消融实验表明，硬提示是性能提升的主要驱动力，而软提示仅带来微小改进。