[論文レビュー] Computation Resource Allocation Solution in Recommender Systems

Xun Yang, Yunli Wang+5 more|arXiv (Cornell University)|Mar 3, 2021

Recommender Systems and Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、計算リソース割り当てソリューション（CRAS）を提案する。CRASは、厳格な計算リソースおよび応答時間制約のもとで、推薦システムにおけるビジネス目標を最大化する最適化フレームワークである。段階的候補セットサイズの割り当てを制約付き最適化問題として定式化し、収益関数とプライマル・デュアル法を用いて最適戦略を導出する。Alibabaのディスプレイ広告システムにおいて、追加の計算コストを要せず2.6%の収益向上が実証された。

ABSTRACT

Recommender systems rely heavily on increasing computation resources to improve their business goal. By deploying computation-intensive models and algorithms, these systems are able to inference user interests and exhibit certain ads or commodities from the candidate set to maximize their business goals. However, such systems are facing two challenges in achieving their goals. On the one hand, facing massive online requests, computation-intensive models and algorithms are pushing their computation resources to the limit. On the other hand, the response time of these systems is strictly limited to a short period, e.g. 300 milliseconds in our real system, which is also being exhausted by the increasingly complex models and algorithms. In this paper, we propose the computation resource allocation solution (CRAS) that maximizes the business goal with limited computation resources and response time. We comprehensively illustrate the problem and formulate such a problem as an optimization problem with multiple constraints, which could be broken down into independent sub-problems. To solve the sub-problems, we propose the revenue function to facilitate the theoretical analysis, and obtain the optimal computation resource allocation strategy. To address the applicability issues, we devise the feedback control system to help our strategy constantly adapt to the changing online environment. The effectiveness of our method is verified by extensive experiments based on the real dataset from Taobao.com. We also deploy our method in the display advertising system of Alibaba. The online results show that our computation resource allocation solution achieves significant business goal improvement without any increment of computation cost, which demonstrates the efficacy of our method in real industrial practice.

研究の動機と目的

• キャスケードアーキテクチャを有する産業用推薦システムにおいて、計算コスト、応答時間、モデル性能のバランスをとる課題に対処すること。
• 固定された計算リソースおよび応答時間予算のもとで、事前ランク付け、粗いランク付け、詳細ランク付けの各段階における最適な候補セットサイズを特定すること。
• 実時間オンライン環境において、ビジネス目標（例：広告収益）を最大化する理論的根拠に基づいた、柔軟で適応可能な戦略を開発すること。
• システムリソース消費量や遅延を増加させることなく、高度なモデルの実装を可能にすること。

提案手法

• 全計算リソースおよび応答時間に関する複数の制約を含む制約付き最適化問題として、計算リソース割り当て問題を定式化する。
• グローバル問題を各システム段階ごとの独立した部分問題に分解し、段階別最適化を可能にする。
• 候補広告の限界利益をモデル化するための収益関数を導入し、理論的分析と最適化を促進する。
• プライマル・デュアル法を適用して最適割り当て戦略を導出し、経済的視点（例：シャドウプライス）から解釈可能にする。
• 変化するオンラインリクエスト特性およびシステム状態に適応するためのフィードバック制御システムを設計する。
• 既存のキャスケードアーキテクチャと統合し、Alibabaのディスプレイ広告プラットフォームを含む実産業システムへのシームレスな導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定された計算リソースおよび応答時間制約のもとで、複数段階のキャスケード推薦システムにおいて、計算リソースをどのように最適に割り当てればビジネス目標を最大化できるか？
• RQ2 マルチステージランク付けパイプラインにおける各段階での最適な候補セットサイズを決定する理論的根拠は何か？
• RQ3 変動するリクエスト特性を示す動的オンライン環境に適応できるように、割り当て戦略をどのように設計できるか？
• RQ4 提案手法は、計算コストや遅延を増加させることなく、ビジネスパフォーマンスをどの程度向上できるか？

主な発見

• CRASは、追加の計算コストを要せず、Alibabaの実世界のディスプレイ広告システムでベースライン比2.60%の収益向上を達成した。
• 応答時間割り当てを最適化したCRAS₄（D₁=12000, D₂=3500, D₃=450）は、応答時間割り当てが不適切なCRAS₁（D₁=10500, D₂=3500, D₃=550）よりも1.76%高い収益を達成し、応答時間割り当ての価値を示した。
• フィードバック制御システムにより、戦略は変化するオンライン環境に適応可能となり、動的で産業的な環境でも持続的なパフォーマンスを確保した。
• 実際のTaobao.comデータを用いた広範な実験により、CRASは固定しきい値ベースライン手法よりも、オフラインおよびオンライン両設定で優れた性能を示した。
• プライマル・デュアル法により導出された戦略は、理論的に妥当かつ経済的に解釈可能な割り当てメカニズムを提供し、システムの透明性とスケーラビリティを向上させた。
• このフレームワークは、既存の推薦アルゴリズムと互換性があり、任意のキャスケードベースシステムに統合可能であり、効率性とビジネス成果の向上を実現できる。