[論文レビュー] Blind Dynamic Resource Allocation in Closed Networks via Mirror Backpressure

Yash Kanoria, Pengyu Qian|arXiv (Cornell University)|Mar 7, 2019

Transportation and Mobility Innovations参考文献 55被引用数 13

ひとこと要約

本稿では、需要の到着レートが未知で時間的に変化する有限供給ユニットを有する閉鎖型キューイングネットワークにおける、需要到着レートの知識を必要とせずにエントリーおよび割り当て意思決定をガイドする、混雑度に配慮したスコア関数を用いた、盲目的な動的リソース割り当て方針「ミラー・バックプレッシャー（MBP）」を提案する。MBP方針は、真のレートを把握しているオラクル方針に対して、1顧客あたり最大 $O\left(\frac{K}{T} + \frac{1}{K} + \sqrt{\eta K}\right)$ の報酬損失に抑え、有限な $K$ および $T$ に対しても保証が成り立つ。

ABSTRACT

We study the problem of maximizing payoff generated over a period of time in a general class of closed queueing networks with a finite, fixed number of supply units which circulate in the system. Demand arrives stochastically, and serving a demand unit (customer) causes a supply unit to relocate from the ``origin'' to the ``destination'' of the customer. The key challenge is to manage the distribution of supply in the network. We consider general controls including customer entry control, pricing, and assignment. Motivating applications include shared transportation platforms and scrip systems. Inspired by the mirror descent algorithm for optimization and the backpressure policy for network control, we introduce a rich family of \emph{Mirror Backpressure} (MBP) control policies. The MBP policies are simple and practical, and crucially do not need any statistical knowledge of the demand (customer) arrival rates (these rates are permitted to vary in time). Under mild conditions, we propose MBP policies that are provably near optimal. Specifically, our policies lose at most $O(\frac{K}{T}+\frac{1}{K} + \sqrt{ηK})$ payoff per customer relative to the optimal policy that knows the demand arrival rates, where $K$ is the number of supply units, $T$ is the total number of customers over the time horizon, and $η$ is the demand process' average rate of change per customer arrival. An adaptation of MBP is found to perform well in numerical experiments based on data from ride-hailing.

研究の動機と目的

• 需要の到着が確率的かつ未知の時間変動的レートで発生する、循環する供給ユニットを有する閉鎖型キューイングネットワークにおける動的リソース割り当ての課題に対処する。
• 既存の方針が需要到着レートの完全な知識を必要とすることや、パラメータが時間的に一定であると仮定することの制限を克服する。
• 統計的知識を必要とせず、状態に依存しない制御方針を設計し、強力な性能保証を維持する。
• 動的価格設定と柔軟な割り当てを含むフレームワークを拡張し、強靭性と適応性を示す。
• 非漸近的性能バウンドを提供し、遷移的および定常状態の両方の状態に適用可能であり、ライドシェアプラットフォームなどの実世界システムに適用可能である。

提案手法

• 需要ユニットの受入を決定するスコア $w_{jk} + f(\bar{q}_j[t]) - f(\bar{q}_k[t]) \geq 0$ を用いるミラー・バックプレッシャー（MBP）方針を提案する。ここで $f$ は混雑度関数である。
• 供給の保護を図り、長時間のキューから利用を促進するために、特定の混雑度関数 $f(\bar{q}_j) = -\sqrt{m} \cdot \bar{q}_j^{-1/2}$ を使用する。
• 正規化されたキュー長 $\bar{\mathbf{q}}[t]$ を双対変数とみなし、MBPを静的計画問題の部分双対問題に対する確率的ミラー降下法として解釈する。
• 標準の部分勾配降下法から、混雑度関数 $\mathbf{f}(\bar{\mathbf{q}})$ によって定義される非線形かつ可逆なミラー写像を用いることで、バックプレッシャーをミラー降下へ一般化する。
• 到着レートの知識を必要とせず、局所的なキュー状態と事前に指定された関数 $f$ のみに依存することで、方針が単純かつ実装可能であることを保証する。
• 需要プロセスの変化率 ($\eta$)、システムサイズ ($K$)、時間枠 ($T$) との関係を用いて、理論的性能保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 時間的に変動する需要到着レートの事前知識なしに、閉鎖型キューイングネットワークで近似的最適な性能を達成できる制御方針は存在するか？
• RQ2 真の需要レートを把握しているオラクル方針と比較して、盲目的な方針の性能はどの程度劣化するか。このギャップはバウンド可能か？
• RQ3 ミラー降下を用いることで、変化するネットワーク状態に適応しつつも強力な理論的保証を維持できる動的制御方針を設計できるか？
• RQ4 ネットワークの接続性および供給の分布が、盲目的な割り当て方針の性能に与える影響は何か？
• RQ5 混雑度関数の選定が、動的システムにおける供給保護と利用度のトレードオフに与える影響は何か？

主な発見

• MBP方針は、需要レートの完全な知識を持つ最適方針に対して、1顧客あたり最大 $O\left(\frac{K}{T} + \frac{1}{K} + \sqrt{\eta K}\right)$ の報酬損失に抑えられる。
• 性能保証は非漸近的であり、有限な $K$ および $T$ に対しても成り立ち、遷移的および定常状態の両方の挙動をカバーする。
• 需要到着レートが時間的に変化しても、方針は証明可能な近似的最適性を保ち、誤差項は需要プロセスの平均変化率 $\eta$ に依存する。
• MBP方針は時間変動する需要に対して強靭であり、グリーディー法や状態に依存しない方針が直面する $\Omega(1)$ の最適性ギャップを回避する。
• 実際のライドシェアデータに基づく数値実験により、MBP方針が実際の状況でも良好に動作することが示され、理論的結果の妥当性が裏付けられる。
• MBP方針はバックプレッシャーをミラー降下を組み込んだ形で一般化し、柔軟な混雑度関数を用いることで、状態空間への幾何的適応性を向上させる。