[論文レビュー] Restless Bandits in Action: Resource Allocation, Competition and Reservation

Jing Fu, Bill Moran+1 more|arXiv (Cornell University)|Apr 6, 2018

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、全般的な容量制約下での弱く結合された非同一なRestless Multi-Armed Bandits (RMABPs)のための漸近的最適リソース割り当て方策を提案する。Whittle緩和とWeber-Weissの漸近的最適性を、RMABPあたりのアクティブなバンディット数を固定し、全バンディット数にスケーリングするという新しいスケーリング則に拡張することで、この新規なスケーリング則下で漸近的最適性を証明し、このクラスの制約付きRMABPシステムにおける最初のこのような結果を提供する。

ABSTRACT

We study a resource allocation problem with different requests, and with resources of limited capacity shared by multiple requests. We model this problem as a set of heterogeneous Restless Multi-Armed Bandit Problems (RMABPs) connected by the constraints imposed by the resource capacity. Following the idea of Whittle relaxation, and the asymptotic optimality proof of Weber and Weiss, we propose a simple policy for our problem and prove its asymptotic optimality when the RMABPs are weakly coupled with each other. To the best of our knowledge, this is the first work providing asymptotic optimality results for such a resource allocation problem and such a combination of multiple RMABPs. In applying these, we consider the asymptotic optimality in the case of a fixed number of active restless Bandit Processes (BPs) for each RMABP, rather than a fixed ratio of the number of active BPs to the total number of BPs as considered by Weber and Weiss. In particular, we scale the transition rates of the active bandits in proportion to the total number of BPs.

研究の動機と目的

• 複数の非同一リクエストが共有する制限付き容量リソースにおけるリソース割り当てを扱う。
• 問題を全般的な容量制約下での弱く結合されたRestless Multi-Armed Bandits (RMABPs)の集合としてモデル化する。
• 各RMABPあたり固定数のアクティブバンディットを有する制約付きで非同一なRMABP設定に、Whittle緩和フレームワークを拡張する。
• 遷移レートが全バンディット数に比例してスケーリングされるという新しいスケーリング則下で、提案方策の漸近的最適性を確立する。
• 各プロセスあたり固定アクティブバンディット数を有する、容量制約下での複数の非同一RMABPsのシステムにおける、最初の漸近的最適性結果を提供する。

提案手法

• 制限付き容量制約を有する非同一なRestless Multi-Armed Bandits (RMABPs)の集合としてリソース割り当て問題をモデル化する。
• 容量制約下で各RMABPに対して、取り扱い可能なインデックスベースの方策を導出するため、Whittle緩和を適用する。
• 各RMABPあたりのアクティブバンディット数を固定し、全バンディット数が増加するという新規なスケーリング則を導入し、遷移レートを全バンディット数に比例してスケーリングする。
• 漸近的解析を用いて、このスケーリング則下で提案方策が漸近的最適性に達することを証明する。
• WeberとWeissの理論枠組みを、アクティブバンディット数と全バンディット数の比率が固定でないが、各RMABPあたりのアクティブバンディット数が一定であるという設定に拡張する。
• システムサイズが増大する際、提案方策の性能がこのスケーリング則下で最適解に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 各RMABPあたり固定アクティブバンディット数を有する非同一で弱く結合されたRMABPsのシステムにおいて、Whittle緩和に基づく方策は漸近的最適性を達成できるか？
• RQ2 各RMABPあたりのアクティブバンディット数が全バンディット数に比例するのではなく固定である場合、どのようなスケーリング則が漸近的最適性を可能にするか？
• RQ3 アクティブバンディットの遷移レートを全バンディット数に比例してスケーリングすることにより、方策の漸近的性能にどのような影響を与えるか？
• RQ4 WeberとWeissの漸近的最適性結果は、容量制約下で複数の非同一RMABPsを有するシステムに、各プロセスあたり固定アクティブバンディット数を有する場合に拡張可能か？
• RQ5 各RMABPあたり固定アクティブバンディット数を有する大規模システムにおける、提案方策の理論的性能保証は何か？

主な発見

• 提案方策は、全バンディット数が増大する極限において、各RMABPあたりのアクティブバンディット数を固定するという新規なスケーリング則下で漸近的最適性を達成する。
• 漸近的最適性は、全バンディット数に比例して遷移レートをスケーリングするという、WeberとWeissの標準的な比率ベースのスケーリングとは異なるスケーリング則下で確立されている。
• 本研究は、各プロセスあたり固定アクティブバンディット数を有する容量制約下での複数の非同一RMABPsのシステムにおける、最初の漸近的最適性結果を提供する。
• 理論的解析により、Whittle緩和アプローチがこの新しい漸近的制度下でも有効かつ最適であることが確認された。
• 本結果により、固定アクティブバンディット数を有する制約付きリソース割り当て問題の幅広いクラスへのWhittleのインデックス方策の適用範囲が拡張された。
• 本フレームワークは、各プロセスあたりのアクティブリクエスト数が制限されるが、システムサイズが増大する大規模システムへの実用的導入を支援する。