[论文解读] A Model of Two Tales: Dual Transfer Learning Framework for Improved Long-tail Item Recommendation

Yin Zhang⋆, Derek Zhiyuan Cheng+4 more|arXiv (Cornell University)|Oct 29, 2020

Recommender Systems and Techniques参考文献 49被引用 7

一句话总结

该论文提出MIRec，一种双分支迁移学习框架，通过联合利用模型级元学习与项目级课程学习，显著提升长尾项目推荐性能。通过隐式数据增强与语义特征对齐，将高反馈头部项目知识迁移至低反馈尾部项目，MIRec在命中率与NDCG指标上显著提升尾部项目表现，同时亦改善整体及头部项目推荐效果。

ABSTRACT

Highly skewed long-tail item distribution is very common in recommendation systems. It significantly hurts model performance on tail items. To improve tail-item recommendation, we conduct research to transfer knowledge from head items to tail items, leveraging the rich user feedback in head items and the semantic connections between head and tail items. Specifically, we propose a novel dual transfer learning framework that jointly learns the knowledge transfer from both model-level and item-level: 1. The model-level knowledge transfer builds a generic meta-mapping of model parameters from few-shot to many-shot model. It captures the implicit data augmentation on the model-level to improve the representation learning of tail items. 2. The item-level transfer connects head and tail items through item-level features, to ensure a smooth transfer of meta-mapping from head items to tail items. The two types of transfers are incorporated to ensure the learned knowledge from head items can be well applied for tail item representation learning in the long-tail distribution settings. Through extensive experiments on two benchmark datasets, results show that our proposed dual transfer learning framework significantly outperforms other state-of-the-art methods for tail item recommendation in hit ratio and NDCG. It is also very encouraging that our framework further improves head items and overall performance on top of the gains on tail items.

研究动机与目标

• 解决因用户反馈稀疏而导致长尾项目推荐性能不佳的挑战。
• 克服传统迁移学习在长尾场景下的局限性，即头部与尾部项目分布存在显著差异。
• 通过从高反馈头部项目迁移知识，改善尾部项目的表征学习。
• 确保尾部项目性能提升的同时，不损害整体或头部项目推荐质量。
• 构建统一框架，实现模型参数与项目特征之间平滑的知识迁移。

提出的方法

• 提出双分支迁移学习框架MIRec，结合模型级与项目级知识迁移。
• 利用元学习学习从少样本到多样本训练范式下模型参数变化的通用元映射。
• 将此元映射应用于隐式增强尾部项目的训练数据，提升其表征学习能力。
• 引入课程学习（LTCur），按顺序在头部与尾部项目上进行训练，并在两者之间建立基于特征的连接。
• 利用项目级特征（如类型、标题）建立头部与尾部项目之间的语义关联，实现更平滑的知识迁移。
• 采用双塔神经网络架构，结合共享的元学习与基于课程的训练策略，联合优化头部与尾部项目的表征。

实验结果

研究问题

• RQ1 元学习能否有效实现从高反馈头部项目向低反馈尾部项目的知识迁移？
• RQ2 交替训练头部与尾部项目的课程学习策略如何改善尾部项目的表征学习？
• RQ3 模型级与项目级迁移的联合集成是否能同时提升尾部项目与整体推荐性能？
• RQ4 所提框架是否能在不降低头部项目或整体模型性能的前提下提升尾部项目表现？
• RQ5 学习到的嵌入向量是否反映出尾部项目更优的语义聚类特性？

主要发现

• MIRec在MovieLens1M与Amazon-Books数据集上，于命中率与NDCG指标上显著优于当前最先进方法，尤其在长尾项目上表现突出。
• 在MovieLens1M数据集上，MIRec相较最强基线，尾部项目命中率提升12.3%，NDCG提升14.1%。
• 课程学习策略（LTCur）在两个训练阶段均降低头部与尾部项目的验证损失，证明了有效知识迁移。
• t-SNE可视化显示，MIRec学习到的尾部项目嵌入更具一致性且具备类型意识，优于基线双塔模型。
• 案例研究证实，MIRec能将语义相似的尾部项目（如关于人生困境的影片）聚类在一起，即使协同信号极少。
• 该框架在提升尾部项目性能的同时，亦意外改善了整体与头部项目推荐效果，表明尾部项目增强未带来负面权衡。