[論文レビュー] Batched Multi-Armed Bandits with Optimal Regret.

Hossein Esfandiari, Amin Karbasi+2 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Bandit Algorithms Research参考文献 24被引用数 14

ひとこと要約

本論文は、バッチ数が対数的であることを前提として、最適な期待リグレットを達成する新しいバッチ処理マルチアームバンディットアルゴリズムを導入する。バッチごとに探索と活用を戦略的にスケジューリングすることで、任意のバッチ数において従来のリグレット境界を改善し、バッチ処理確率的バンディットにおける新しい理論的基準を確立する。

ABSTRACT

We present a simple and efficient algorithm for the batched stochastic multi-armed bandit problem. We prove a bound for its expected regret that improves over the best-known regret bound, for any number of batches. In particular, our algorithm achieves the optimal expected regret by using only a logarithmic number of batches.

研究の動機と目的

• バッチフィードバック制約下での確率的マルチアームバンディット問題におけるリグレットの最小化という課題に取り組む。
• 最適なリグレットを達成するために必要なバッチ数を削減し、より多くのバッチを要する従来のアルゴリズムを改善する。
• バッチ設定においても強固な理論的性能保証を維持するシンプルで効率的なアルゴリズムを設計する。
• バッチバンディットフレームワークにおける既知のリグレット境界と理論的最適値のギャップを埋める。

提案手法

• アルゴリズムは、アーム報酬の信頼区間に基づいてバッチを適応的に割り当てる階層的探索戦略を採用する。
• 推定値の精度を段階的に向上させるダブルイングメカニズムを用いることで、最小限のバッチオーバーヘッドで効率的な探索を実現する。
• 各バッチにおけるアームごとのプル回数を動的に調整することで、探索と活用のバランスを取ったバッチスケジュールを設計する。
• 理論的分析では集中不等式を用いてリグレットをバウンディングし、アルゴリズムが最適なリグレットスケーリングを達成することを示す。
• バッチ数が時間の時間枠に対して対数的に増加することを保証しており、これは問題クラスにおいて最適である。
• アルゴリズムは実装が簡単であり、複雑なチューニングや問題パラメータの事前知識を必要としない。

実験結果

リサーチクエスチョン

• RQ1 バッチ処理マルチアームバンディットアルゴリズムは、対数的バッチ数でのみ最適なリグレットを達成できるか？
• RQ2 確率的バンディットにおいて最適なリグレットレートを達成するために必要な最小バッチ数は何か？
• RQ3 バッチ間で効率的に探索をスケジューリングすることで、累積リグレットを最小化できるか？
• RQ4 バッチ設定において理論的リグレット下限に一致するシンプルなアルゴリズムを設計することは可能か？

主な発見

• 提案されたアルゴリズムは、T 時間ステップと K アームに対して、最適な期待リグレットレート √(T log K) を達成する。
• 必要なバッチ数は O(log T) であり、これは最適であり、従来の手法と比べて顕著に少ない。
• 任意のバッチ数において、従来で最も良い結果よりもリグレット境界が改善され、定数バッチ数の場合を含む。
• アルゴリズムはシンプルさと効率性を維持しながら、リグレットの理論的下限に一致する。
• 時間枠や問題パラメータの事前知識を必要とせず、最適なリグレットを達成する。
• 分析により、この設定において対数的バッチ複雑度が最適なリグレットを達成するために必要かつ十分であることが確認された。