[論文レビュー] Know Your Customer: Multi-armed Bandits with Capacity Constraints.

Ramesh Johari, Vijay Kamble+1 more|arXiv (Cornell University)|Mar 15, 2016

Advanced Bandit Algorithms Research参考文献 26被引用数 4

ひとこと要約

本稿では、容量制約と未知のクライントイプを想定したリソース割り当てのための3段階のマルチアームド・バンディット方策を提案する。シャドウプライシングを用いて容量制約の外部性を表現することで、即時の報酬、クライントイプの学習、容量制約のバランスを取ることで、漸近的に最適なレグレットを達成する。

ABSTRACT

A wide range of resource allocation and platform operation settings exhibit the following two simultaneous challenges: (1) service resources are capacity constrained; and (2) clients' preferences are not perfectly known. To study this pair of challenges, we consider a service system with heterogeneous servers and clients. Server types are known and there is fixed capacity of servers of each type. Clients arrive over time, with types initially unknown and drawn from some distribution. Each client sequentially brings $N$ jobs before leaving. The system operator assigns each job to some server type, resulting in a payoff whose distribution depends on the client and server types. Our main contribution is a complete characterization of the structure of the optimal policy for maximization of the rate of payoff accumulation. Such a policy must balance three goals: (i) earning immediate payoffs; (ii) learning client types to increase future payoffs; and (iii) satisfying the capacity constraints. We construct a policy that has provably optimal regret (to leading order as $N$ grows large). Our policy has an appealingly simple three-phase structure: a short type-guessing phase, a type-confirmation phase that balances payoffs with learning, and finally an exploitation phase that focuses on payoffs. Crucially, our approach employs the shadow of the capacity constraints in the assignment problem with known types as externality prices on the servers' capacity.

研究の動機と目的

• サーバーの容量が固定であり、クライントイプが初期状態で未知であるリソース割り当て問題をモデル化・解決すること。
• 即時の報酬獲得、クライントイプの学習、容量制約の尊重の間のトレードオフをバランスさせること。
• 大スケールの時間枠（N → ∞）における、証明可能な最適なレグレットを達成する方策を設計すること。
• 既知のタイプの割り当て問題からの外部性価格を用いて、容量制約を学習と割り当て意思決定に統合すること。

提案手法

• 方策は3段階に構成される：短いタイプ推定フェーズ、学習と報酬のバランスを取るタイプ確認フェーズ、報酬最大化に特化した最終的実行フェーズ。
• シャドウプライスは、クライントイプとサーバータイプが既知の状態における最適割り当て問題から導出され、容量制約の外部性を表す。
• アルゴリズムはこれらのシャドウプライスを用いてサーバーの割り当て意思決定をガイドし、容量制約を学習プロセスに内蔵化する。
• レグレットは漸近的に分析され、Nが大きくなるにつれて、方策が最適なレグレットを先頭項まで達成することが示された。
• 本手法は、学習とリソース割り当ての間に双対性を活用し、価格メカニズムを介して容量制約を学習目的に統合する。

実験結果

リサーチクエスチョン

• RQ1 異種のサーバー・クライアントシステムにおいて、マルチアームド・バンディット方策が学習、報酬最大化、容量制約をどのように最適にバランスさせるか。
• RQ2 クライントイプとサーバーキャパシティの両方が未知または部分的にしか不明な状況において、最適な方策の構造はどのようなものか。
• RQ3 容量制約をどのように体系的に学習と割り当てプロセスに統合し、レグレットを最小限に抑えることができるか。
• RQ4 クライントのジョブ数（N）が大きくなる際、このような方策の漸近的レグレットはどのようになるか。

主な発見

• 提案された方策は、漸近的に最適なレグレットを達成し、先頭項のレグレットが理論的下界と一致する。
• タイプ推定、タイプ確認、実行の3段階構造により、容量制限を尊重しつつ効率的な学習が可能になる。
• 既知のタイプの割り当て問題からのシャドウプライスは、容量制約下での最適割り当てをガイドする有効な外部性指標である。
• 価格メカニズムを通じて容量制約を学習目的に統合することにより、探索と活用のバランスを保つ。