[论文解读] One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction

Xiang-Rong Sheng, Liqin Zhao+9 more|arXiv (Cornell University)|Jan 27, 2021

Recommender Systems and Techniques参考文献 45被引用 16

一句话总结

本文提出星型拓扑自适应推荐模型（STAR），一种用于多领域点击率（CTR）预测的模型，通过共享中心化网络与各领域特定的适配器，联合学习多个业务领域之间的共性与差异。通过逐元素相乘的方式自适应地组合共享参数与领域特定参数，STAR在阿里巴巴的生产环境中实现了8.0%的CTR提升和6.0%的RPM提升。

ABSTRACT

Traditional industrial recommenders are usually trained on a single business domain and then serve for this domain. However, in large commercial platforms, it is often the case that the recommenders need to make click-through rate (CTR) predictions for multiple business domains. Different domains have overlapping user groups and items. Thus, there exist commonalities. Since the specific user groups have disparity and the user behaviors may change in various business domains, there also have distinctions. The distinctions result in domain-specific data distributions, making it hard for a single shared model to work well on all domains. To learn an effective and efficient CTR model to handle multiple domains simultaneously, we present Star Topology Adaptive Recommender (STAR). Concretely, STAR has the star topology, which consists of the shared centered parameters and domain-specific parameters. The shared parameters are applied to learn commonalities of all domains, and the domain-specific parameters capture domain distinction for more refined prediction. Given requests from different business domains, STAR can adapt its parameters conditioned on the domain characteristics. The experimental result from production data validates the superiority of the proposed STAR model. Since 2020, STAR has been deployed in the display advertising system of Alibaba, obtaining averaging 8.0% improvement on CTR and 6.0% on RPM (Revenue Per Mille).

研究动机与目标

• 解决训练单一模型以服务多个业务领域时，共享与差异化的用户-物品行为模式的挑战。
• 克服单领域模型（低流量领域数据稀缺）与完全共享模型（无法捕捉领域特异性模式）的局限性。
• 设计一种高效、可扩展的架构，在利用跨领域数据的同时，保持各领域的高预测精度。
• 实现实时模型自适应，以应对生产环境中动态变化的数据分布与波动的领域流量模式。

提出的方法

• 提出一种星型拓扑结构，包含一个共享中心化网络和每个业务领域对应的领域特定适配器网络。
• 通过逐元素相乘的方式组合共享参数与领域特定参数，生成领域特定的预测头。
• 在所有领域的数据上联合训练共享网络以捕捉共性，同时让领域适配器从各自领域的特定数据中学习。
• 引入一个辅助网络并结合对抗性损失，以增强领域差异学习，同时不与领域特征的使用产生矛盾。
• 在训练流程中引入滑动窗口缓冲区，以在领域流量分布动态变化时稳定在线学习过程。
• 在推理阶段预计算各领域的全连接网络权重，以保持低延迟，达到与共享底模型相当的效率。

实验结果

研究问题

• RQ1 单一统一模型是否能有效捕捉多领域CTR预测中既有的共性模式与领域特异性行为？
• RQ2 如何在不增加推理成本的前提下，平衡参数共享与领域特异性自适应，以提升模型性能？
• RQ3 何种训练策略可确保在领域流量分布随时间动态变化时，实现稳定的在线学习？
• RQ4 引入领域特异性特征在多领域场景下，对模型校准与预测精度的提升程度如何？
• RQ5 所提出的架构是否能在拥有数百个业务领域的实际生产系统中实现显著的性能提升？

主要发现

• 与阿里巴巴信息流广告系统中先前的生产基线模型（Base model）相比，STAR在整体CTR上实现了8.0%的相对提升。
• 模型实现了RPM（千次展示收入）6.0%的提升，表明其在提升预测精度的同时也带来了显著的业务影响。
• PCOC（预测CTR/实际CTR）分析显示，STAR的预测结果校准性更优，各领域预测值均更接近1.0，表明其校准性能更佳。
• 引入对抗性损失的辅助网络在所有基线方法上均持续提升性能，尽管在MulANN上效果略弱，因其目标存在冲突。
• 采用滑动窗口缓冲区的训练策略显著提升了训练稳定性，尤其在流量动态波动的场景下表现更优。
• STAR自2020年底起成功投入生产，服务于超过60个业务领域，尽管模型复杂度增加，但推理速度未出现下降。