[论文解读] A Collaborative Transfer Learning Framework for Cross-domain Recommendation

Wei Zhang, Pengye Zhang+3 more|arXiv (Cornell University)|Jun 26, 2023

Recommender Systems and TechniquesComputer Science被引用 3

一句话总结

本文提出了一种协作式跨域迁移学习（CCTL）框架，通过基于信息增益动态加权源域样本，利用对称伴侣网络和信息流网络防止负迁移。CCTL在离线指标上达到最先进性能，并在美团的实际部署中实现4.37%的CTR提升和5.43%的GMV提升。

ABSTRACT

In the recommendation systems, there are multiple business domains to meet the diverse interests and needs of users, and the click-through rate(CTR) of each domain can be quite different, which leads to the demand for CTR prediction modeling for different business domains. The industry solution is to use domain-specific models or transfer learning techniques for each domain. The disadvantage of the former is that the data from other domains is not utilized by a single domain model, while the latter leverage all the data from different domains, but the fine-tuned model of transfer learning may trap the model in a local optimum of the source domain, making it difficult to fit the target domain. Meanwhile, significant differences in data quantity and feature schemas between different domains, known as domain shift, may lead to negative transfer in the process of transferring. To overcome these challenges, we propose the Collaborative Cross-Domain Transfer Learning Framework (CCTL). CCTL evaluates the information gain of the source domain on the target domain using a symmetric companion network and adjusts the information transfer weight of each source domain sample using the information flow network. This approach enables full utilization of other domain data while avoiding negative migration. Additionally, a representation enhancement network is used as an auxiliary task to preserve domain-specific features. Comprehensive experiments on both public and real-world industrial datasets, CCTL achieved SOTA score on offline metrics. At the same time, the CCTL algorithm has been deployed in Meituan, bringing 4.37% CTR and 5.43% GMV lift, which is significant to the business.

研究动机与目标

• 为解决跨域CTR预测中因源域数据量和特征模式差异导致的负迁移与数据不平衡问题。
• 在微调过程中避免因领域偏移或局部最优导致性能下降，实现从数据丰富域到数据稀缺域的有效知识迁移。
• 开发一种方法，评估每个源样本对目标域的真实信息增益，避免对所有源数据 indiscriminate（无差别）使用。
• 在保留领域特定特征的同时，通过辅助表示增强网络实现协同迁移。
• 在公开基准和真实工业数据集上均实现卓越性能，尤其在低数据场景下表现突出。

提出的方法

• 对称伴侣网络（SCN）采用对称架构，同时训练混合模型（目标域 + 源域样本）和纯目标模型，以估计源样本对目标域的信息增益。
• 信息流网络（IFN）通过测量SCN两个分支之间的预测性能差异，计算样本级别的迁移权重，实现动态、样本特定的迁移权重。
• 表示增强网络（REN）使用对比学习方法，保留领域特定特征，确保模型保留各领域的独特特性。
• 该框架联合优化主CTR预测任务与REN辅助任务，提升泛化能力和鲁棒性。
• SCN与IFN通过端到端训练，损失函数鼓励对有益源样本赋予高迁移权重，对有害或无关样本赋予低权重。
• 模型架构与现有深度CTR模型兼容，支持集成注意力机制、MLP和嵌入层等技术。

Figure 1 . An overview of the CCTL model. a)Symmetric Companion Network(SCN) evaluates the information gain from the source domain samples to the target domain through the dual-tower framework. b)Information Flow Network(IFN) evaluates how much information can be brought by each source sample, and h

实验结果

研究问题

• RQ1 如何动态评估单个源域样本向目标域迁移的信息增益？
• RQ2 在数据丰富域向数据稀疏域迁移且存在显著领域偏移时，应采用何种机制防止负迁移？
• RQ3 如何在实现有效跨域知识迁移的同时，保留领域特定特征？
• RQ4 协作式迁移学习框架是否能在跨域CTR预测中超越标准多任务学习与微调基线？
• RQ5 此类框架在提升真实业务指标（如CTR与GMV）方面能达到何种程度？

主要发现

• CCTL在离线评估指标下，于公开数据集与真实工业数据集上均达到最先进性能。
• 在美团推荐系统中实际部署后，模型实现了4.37%的点击率（CTR）绝对提升。
• CCTL带来5.43%的总商品交易额（GMV）增长，展现出显著的业务影响。
• 消融实验表明，对称伴侣网络与信息流网络对性能至关重要，其中IFN显著减少了负迁移。
• 表示增强网络有效保留了领域特定特征，有助于提升跨域泛化能力。
• 该框架优于标准迁移学习与多任务学习基线，尤其在低数据场景下，通过智能筛选有益源样本实现性能提升。

Figure 2 . An illustration of the SCN component.