[論文レビュー] An online learning approach to dynamic pricing and capacity sizing in service systems

Xinyun Chen, Yunan Liu+1 more|arXiv (Cornell University)|Sep 7, 2020

Advanced Bandit Algorithms Research参考文献 24被引用数 5

ひとこと要約

本稿では、重交通近似を必要とせず、GI/GI/1 サービスシステムにおける動的価格設定と能力調整のための勾配ベースのオンライン学習フレームワーク、GOLiQ を提案する。到着データ、待機時間、サーバーのビジー時間といったリアルタイムの観測データを用いて、価格設定と人員配置方針を繰り返し更新することで、GOLiQ は対数的レジットを達成し、最適利益への収束が速く、さまざまなシステム規模においても性能を維持する。

ABSTRACT

We study a dynamic pricing and capacity sizing problem in a $GI/GI/1$ queue, where the service provider's objective is to obtain the optimal service fee $p$ and service capacity $μ$ so as to maximize the cumulative expected profit (the service revenue minus the staffing cost and delay penalty). Due to the complex nature of the queueing dynamics, such a problem has no analytic solution so that previous research often resorts to heavy-traffic analysis where both the arrival rate and service rate are sent to infinity. In this work we propose an online learning framework designed for solving this problem which does not require the system's scale to increase. Our framework is dubbed Gradient-based Online Learning in Queue (GOLiQ). GOLiQ organizes the time horizon into successive operational cycles and prescribes an efficient procedure to obtain improved pricing and staffing policies in each cycle using data collected in previous cycles. Data here include the number of customer arrivals, waiting times, and the server's busy times. The ingenuity of this approach lies in its online nature, which allows the service provider do better by interacting with the environment. Effectiveness of GOLiQ is substantiated by (i) theoretical results including the algorithm convergence and regret analysis (with a logarithmic regret bound), and (ii) engineering confirmation via simulation experiments of a variety of representative $GI/GI/1$ queues.

研究の動機と目的

• 到着およびサービスのダイナミクスが複雑であるため、解析的解が得られない GI/GI/1 キューにおける動的価格設定と人員配置の最適化という課題に対処すること。
• 重交通近似に依存しないスケーラブルで非漸近的な手法を開発し、小規模システムでは精度が低下する重交通近似の欠陥を回避すること。
• サービス提供者が観測可能なデータのみを用いて、環境とのリアルタイムな相互作用を通じて最適価格設定と能力政策を学習できるようにすること。
• 一般のサービスおよび到着分布の下で、提案されたオンライン学習アルゴリズムの理論的収束性とレジットバウンドを確立すること。
• 代表的な GI/GI/1 キューイングシステムを対象としたシミュレーション実験を通じてフレームワークの有効性を検証すること。

提案手法

• システムは連続する運用サイクルを経て動作し、各サイクルの開始時に過去のデータに基づいて価格設定と人員配置方針を更新する。
• 観測データ（過去のサイクルにおける顧客の到着、待機時間、サーバーのビジー時間）を用いて勾配推定子 $ H_{k-1} $ を構築する。
• 減少するステップサイズ $ \eta_k $ を用いて、$ (\mu_k, p_k) \leftarrow (\mu_{k-1}, p_{k-1}) + \eta_{k-1} H_{k-1} $ により意思決定を更新する。
• フレームワークはオンライン凸最適化に基づいており、弱い分布的仮定の下で収束性とレジットに関する理論的保証が得られる。
• 勾配推定のバイアスを低減するためにウォームアップフェーズを採用し、サイクル長 $ D_k $ は $ \lceil 4\log(k)/\min(\theta,\gamma) \rceil $ として選択される。
• レジットは最適方針に対する累積損失として分析され、滑らかさおよび軽尾仮定の下で対数的レジットバウンドが示された。

実験結果

リサーチクエスチョン

• RQ1 重交通近似に依存せずに、GI/GI/1 キューにおいてオンライン学習フレームワークが近似的に最適な価格設定と人員配置を達成できるか？
• RQ2 このようなフレームワークはどの程度速く最適方針に収束するのか？ また、理論的レジットバウンドは何か？
• RQ3 重交通近似が不正確となる小規模システムを含め、さまざまなシステム規模においてもアルゴリズムの性能を維持できるか？
• RQ4 有効な方針学習に十分なデータ入力は何か？ また、リアルタイムのキューイング観測からどのようにして勾配を正確に推定できるか？
• RQ5 ステップサイズおよびウォームアップ期間の選択が収束性とレジット性能にどのように影響するか？

主な発見

• GOLiQ は対数的レジットバウンドを達成し、最適方針に対する累積損失が時間経過とともにゆっくりと増加することを意味し、高速な学習が保証される。
• サイクル数が増加するにつれて、アルゴリズムは最適価格設定および人員配置方針 $ (\mu^*, p^*) $ にほとんど確実に収束する。
• 需要関数およびコスト関数にやや弱い正則性条件が課せられる下で、レジットバウンドは $ O(\log L) $ となる。ここで $ L $ はサイクル数を表す。
• フレームワークは小規模システムにおいても重交通近似が不正確となる場合でも、さまざまなシステム規模にわたり頑健である。
• シミュレーション結果により、一般の相互到着時間およびサービス時間分布を持つ代表的な GI/GI/1 キューにおいて、GOLiQ の有効性が確認された。
• モデル仮定の下で、勾配推定子 $ H_k $ が一貫的かつ不偏であることが示され、信頼性の高い方針更新が可能である。