[論文レビュー] Deterministic Sequencing of Exploration and Exploitation for Multi-Armed Bandit Problems

Sattar Vakili, Keqin Liu+1 more|arXiv (Cornell University)|Jun 30, 2011

Advanced Bandit Algorithms Research参考文献 23被引用数 9

ひとこと要約

本稿は、多腕バンディット（MAB）問題における決定的探索・活用の順序付け（DSEE）フレームワークを提案する。探索（ラウンドロビンによるアーム選択）と活用（標本平均が最大のアームの選択）を時間的に分離する。軽尾分布の報酬に対しては最適な対数的レグレットを達成し、有限のモーメントを持つ重尾分布に対しては多項式的レグレットを達成する。また、分散型、 restless、組み合わせ的MAB設定への拡張が可能であり、理論的に劣化しないレグレット成長を保証する。

ABSTRACT

In the Multi-Armed Bandit (MAB) problem, there is a given set of arms with unknown reward models. At each time, a player selects one arm to play, aiming to maximize the total expected reward over a horizon of length T. An approach based on a Deterministic Sequencing of Exploration and Exploitation (DSEE) is developed for constructing sequential arm selection policies. It is shown that for all light-tailed reward distributions, DSEE achieves the optimal logarithmic order of the regret, where regret is defined as the total expected reward loss against the ideal case with known reward models. For heavy-tailed reward distributions, DSEE achieves O(T^1/p) regret when the moments of the reward distributions exist up to the pth order for 12. With the knowledge of an upperbound on a finite moment of the heavy-tailed reward distributions, DSEE offers the optimal logarithmic regret order. The proposed DSEE approach complements existing work on MAB by providing corresponding results for general reward distributions. Furthermore, with a clearly defined tunable parameter-the cardinality of the exploration sequence, the DSEE approach is easily extendable to variations of MAB, including MAB with various objectives, decentralized MAB with multiple players and incomplete reward observations under collisions, MAB with unknown Markov dynamics, and combinatorial MAB with dependent arms that often arise in network optimization problems such as the shortest path, the minimum spanning, and the dominating set problems under unknown random weights.

研究の動機と目的

• 未知の報酬分布を有するMAB問題における探索・活用のトレードオフを扱う。
• 多様な報酬分布、特に重尾分布やマルコフ変調モデルを含む状況においても、最適なレグレットの順序を維持する汎用的MAB方策を開発する。
• 衝突制約や不完全な報酬観測が存在する分散型MAB、記憶を持つrestlessバンディット、依存関係のあるアームを有する組み合わせ的MABにフレームワークを拡張する。
• UCBのような確率的インデックス方策の代替として、明確な理論的保証を持つ、調整可能な決定的代替案を提供する。

提案手法

• DSEEは時間を二つの交互な系列に分割する：探索フェーズでは全アームがラウンドロビン順に選択され、活用フェーズでは標本平均が最大のアームが選ばれる。
• 探索系列のサイズは調整可能なパラメータであり、探索と活用のバランスを制御する。
• 軽尾分布の報酬に対しては、各アームが約 log T 回探索されることで、対数的レグレットを達成する。
• 有限のp次のモーメントを持つ重尾分布（1 < p ≤ 2）に対しては、DSEEは O(T^{1/p}) のレグレットを達成する。p > 2 の場合、O(T^{1/(1+p/2)}) のレグレットを達成する。
• 報酬分布のモーメントの上界が既知の場合、DSEEは最適な対数的レグレットの順序を回復する。
• 衝突とプレイヤーの協調をモデル化することで、分散型MABにフレームワークを拡張し、組み合わせ的MABでは、基礎となるネットワーク構造の基底関数を探索することで拡張する。

実験結果

リサーチクエスチョン

• RQ1 時間的に分離された決定的探索・活用アプローチが、一般の報酬分布において最適なレグレットの順序を達成できるか？
• RQ2 有限のモーメントを持つ重尾分布の報酬に対して、DSEEはどのように性能を示すか？
• RQ3 衝突制約と不完全な報酬観測が存在する分散型MABに、DSEEを拡張できるか？
• RQ4 依存関係のあるアーム（例：未知の重みを有する最短経路や最小全域木問題）を有する組み合わせ的MABに、DSEEを適応可能か？
• RQ5 未知のマルコフ動的特性と非定常なアーム進化を有するrestless MABにおいて、DSEEは最適なレグレットの順序を維持できるか？

主な発見

• 軽尾分布の報酬に対しては、DSEEはLaiとRobbinsが確立した理論的下界に一致する最適な対数的レグレットの順序を達成する。
• 有限のp次のモーメントを持つ重尾分布（1 < p ≤ 2）に対しては、DSEEは O(T^{1/p}) のレグレットを達成し、p > 2 の場合には O(T^{1/(1+p/2)}) のレグレットを達成する。
• 報酬分布のモーメントの上界が既知の場合、DSEEは重尾分布に対しても最適な対数的レグレットの順序を達成する。
• DSEEフレームワークは分散型MABに拡張可能であり、衝突制約下でもサブ線形のレグレットを維持し、上位M個のアームの学習効率がレグレットを支配する。
• 依存関係のあるアームを有する組み合わせ的MABでは、DSEEはネットワーク構造の基底関数のみを探索することで、問題サイズに多項式的成長のレグレットを達成し、指数的成長を回避する。
• 未知のマルコフ動的特性を有するrestless MABでは、DSEEは対数的順序の弱レグレットを達成し、記憶を持つ連続的進化系への適用範囲を拡張する。