[论文解读] Computation Resource Allocation Solution in Recommender Systems

Xun Yang, Yunli Wang+5 more|arXiv (Cornell University)|Mar 3, 2021

Recommender Systems and Techniques参考文献 23被引用 4

一句话总结

本文提出计算资源分配方案（CRAS），一种优化框架，旨在在严格的计算和响应时间约束下，最大化推荐系统中的业务目标。通过将问题建模为分阶段候选集大小分配的约束优化问题，CRAS 利用收益函数和原始-对偶方法推导出最优策略，在阿里巴巴的展示广告系统中实现了 2.6% 的收入增长，且无需额外计算成本。

ABSTRACT

Recommender systems rely heavily on increasing computation resources to improve their business goal. By deploying computation-intensive models and algorithms, these systems are able to inference user interests and exhibit certain ads or commodities from the candidate set to maximize their business goals. However, such systems are facing two challenges in achieving their goals. On the one hand, facing massive online requests, computation-intensive models and algorithms are pushing their computation resources to the limit. On the other hand, the response time of these systems is strictly limited to a short period, e.g. 300 milliseconds in our real system, which is also being exhausted by the increasingly complex models and algorithms. In this paper, we propose the computation resource allocation solution (CRAS) that maximizes the business goal with limited computation resources and response time. We comprehensively illustrate the problem and formulate such a problem as an optimization problem with multiple constraints, which could be broken down into independent sub-problems. To solve the sub-problems, we propose the revenue function to facilitate the theoretical analysis, and obtain the optimal computation resource allocation strategy. To address the applicability issues, we devise the feedback control system to help our strategy constantly adapt to the changing online environment. The effectiveness of our method is verified by extensive experiments based on the real dataset from Taobao.com. We also deploy our method in the display advertising system of Alibaba. The online results show that our computation resource allocation solution achieves significant business goal improvement without any increment of computation cost, which demonstrates the efficacy of our method in real industrial practice.

研究动机与目标

• 解决在具有级联架构的工业推荐系统中，计算成本、响应时间与模型性能之间的平衡挑战。
• 在固定计算和响应时间预算下，确定预排序、粗排序和精排序各阶段的最优候选集大小。
• 开发一种理论基础扎实、可适应性强的策略，以在实时在线环境中最大化业务目标（如广告收入）。
• 实现在不增加系统资源消耗或延迟的前提下，部署先进模型。

提出的方法

• 将计算资源分配问题建模为具有多个约束的约束优化问题，包括总计算量和响应时间的限制。
• 将全局问题分解为各系统阶段的独立子问题，实现分阶段优化。
• 引入收益函数以建模候选广告的边际收益，促进理论分析与优化。
• 应用原始-对偶方法推导最优分配策略，该策略可通过经济视角（如影子价格）进行解释。
• 设计反馈控制系统，动态适应在线请求特征和系统状态的变化。
• 将解决方案与现有级联架构集成，实现无缝部署于阿里巴巴展示广告平台等真实工业系统中。

实验结果

研究问题

• RQ1 如何在固定计算和响应时间约束下，对级联推荐系统的多个阶段实现计算资源的最优分配，以最大化业务目标？
• RQ2 在多阶段排序流水线中，确定各阶段最优候选集大小的理论基础是什么？
• RQ3 如何使分配策略适应具有不同请求特征的动态在线环境？
• RQ4 所提出方法在不增加计算成本或延迟的前提下，能在多大程度上提升业务表现？

主要发现

• 在阿里巴巴真实世界的展示广告系统中，CRAS 相较基线实现了 2.60% 的收入提升，且计算成本未增加。
• CRAS₄ 方法（响应时间分配优化：D₁=12000, D₂=3500, D₃=450）相比 CRAS₁（D₁=10500, D₂=3500, D₃=550）实现了 1.76% 的收入提升，证明了响应时间分配的价值。
• 反馈控制系统使策略能够适应不断变化的在线环境，确保在动态工业环境中持续保持高性能。
• 基于真实 Taobao.com 数据的大量实验表明，CRAS 在离线和在线设置下均优于固定阈值基线方法。
• 原始-对偶方法推导出的策略提供了理论严谨且具有经济可解释性的分配机制，增强了系统的透明度与可扩展性。
• 该框架与现有推荐算法兼容，可无缝集成到任何基于级联的系统中，以提升效率和业务成果。