[论文解读] MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction

Wentao Ouyang, Xiuwu Zhang+6 more|arXiv (Cornell University)|Aug 7, 2020

Image and Video Quality Assessment参考文献 36被引用 5

一句话总结

MiNet 通过联合建模跨域长期用户兴趣、源域（新闻）的短期兴趣以及目标域（广告）的短期兴趣，提出了一种用于跨域点击率（CTR）预测的混合兴趣网络。通过使用两级注意力机制——项级注意力与兴趣级注意力，该方法自适应地融合这些信号，在离线评估中达到最先进性能，并在 UC Toutiao 的 A/B 测试中实现显著的在线 CTR 提升。

ABSTRACT

Click-through rate (CTR) prediction is a critical task in online advertising systems. Existing works mainly address the single-domain CTR prediction problem and model aspects such as feature interaction, user behavior history and contextual information. Nevertheless, ads are usually displayed with natural content, which offers an opportunity for cross-domain CTR prediction. In this paper, we address this problem and leverage auxiliary data from a source domain to improve the CTR prediction performance of a target domain. Our study is based on UC Toutiao (a news feed service integrated with the UC Browser App, serving hundreds of millions of users daily), where the source domain is the news and the target domain is the ad. In order to effectively leverage news data for predicting CTRs of ads, we propose the Mixed Interest Network (MiNet) which jointly models three types of user interest: 1) long-term interest across domains, 2) short-term interest from the source domain and 3) short-term interest in the target domain. MiNet contains two levels of attentions, where the item-level attention can adaptively distill useful information from clicked news / ads and the interest-level attention can adaptively fuse different interest representations. Offline experiments show that MiNet outperforms several state-of-the-art methods for CTR prediction. We have deployed MiNet in UC Toutiao and the A/B test results show that the online CTR is also improved substantially. MiNet now serves the main ad traffic in UC Toutiao.

研究动机与目标

• 通过利用源域的辅助数据，解决目标域 CTR 预测中的数据稀疏性和冷启动问题。
• 通过将新闻浏览行为的知识迁移至广告点击预测，提升在线广告中的 CTR 预测性能。
• 建模三种不同类型的用户兴趣：跨域长期兴趣、源域（新闻）的短期兴趣以及目标域（广告）的短期兴趣。
• 设计一种神经网络架构，根据其与目标广告的相关性，自适应地融合多种兴趣表征。
• 在考虑不同兴趣类型对目标广告重要性差异的前提下，实现有效的跨域知识迁移。

提出的方法

• 提出一种混合兴趣网络（MiNet），用于编码三种用户兴趣：长期兴趣、源域短期兴趣和目标域短期兴趣。
• 应用项级注意力机制，从用户最近点击的新闻和广告中动态提取关键特征，聚焦于相关内容。
• 实现兴趣级注意力机制，学习不同兴趣表征的自适应权重，基于其与目标广告的相关性进行融合。
• 使用共享嵌入层对用户画像特征进行编码，以学习语义丰富、跨域的用户表征。
• 将注意力机制整合进深层神经网络框架，处理用户行为序列和物品特征。
• 使用历史用户交互的点击/未点击标签，通过二元交叉熵损失端到端训练模型。

实验结果

研究问题

• RQ1 建模长期兴趣与双重短期兴趣是否能超越单域基线，在跨域 CTR 预测中实现更优表现？
• RQ2 分层注意力在自适应融合多种兴趣表征以提升 CTR 预测方面是否有效？
• RQ3 来自源域（新闻）的辅助数据在多大程度上能提升目标域（广告）的 CTR 预测性能？
• RQ4 MiNet 在真实在线广告系统中，对多样化广告类型和用户行为是否具备良好的泛化能力？
• RQ5 所提模型是否能在离线评估中实现卓越性能，并在实际生产部署中带来可测量的在线收益？

主要发现

• 在 UC Toutiao 数据集的离线评估中，MiNet 超过了多个最先进 CTR 预测模型，展现出更优的预测精度。
• 两级注意力机制有效捕捉并融合了来自不同用户兴趣类型的信号，提升了模型的鲁棒性。
• 通过利用用户在新闻域的行为，模型显著缓解了广告域中的数据稀疏性和冷启动问题。
• 在 UC Toutiao 上的在线 A/B 测试验证了在线 CTR 的显著提升，证实了模型在真实场景中的有效性。
• MiNet 已投入生产环境，并现服务于 UC Toutiao 的主要广告流量，表明其具备出色的可扩展性与可靠性。
• 消融实验表明，三种兴趣类型以及两级注意力机制均对最终性能有正向贡献。