[論文レビュー] Regret Bounds for Batched Bandits

Hossein Esfandiari, Amin Karbasi+2 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿では、ステochasticな多腕バンディットおよび線形バンディットに対して、最小限の対数的バッチ数で最適なリグレットバウンドを達成する効率的なバッチ処理バンディットアルゴリズムを提示する。バッチ処理された敵対的バンディットにおけるタイトなリグレット下界を確立し、非適応的アルゴリズムはΩ(T/√B)のリグレットを必要とし、適応的アルゴリズムはΩ(T/B)の下界を有することを示し、ステochasticな設定と敵対的設定の間で根本的なギャップが存在することを明らかにする。

ABSTRACT

We present simple and efficient algorithms for the batched stochastic multi-armed bandit and batched stochastic linear bandit problems. We prove bounds for their expected regrets that improve over the best-known regret bounds for any number of batches. In particular, our algorithms in both settings achieve the optimal expected regrets by using only a logarithmic number of batches. We also study the batched adversarial multi-armed bandit problem for the first time and find the optimal regret, up to logarithmic factors, of any algorithm with predetermined batch sizes.

研究の動機と目的

• ステochasticおよび線形バンディット設定において、リグレットを最小限に抑える効率的なバッチ処理バンディットアルゴリズムの設計。
• バッチ処理された敵対的マルチアームバンディット問題について、タイトなリグレットバウンドを確立すること（以前に研究されていなかった問題）。
• バンディット学習における並列化（バッチサイズ）と情報共有（バッチ数）のトレードオフを特定すること。
• 各バンディットモデルでミニマックスリグレットを達成するために必要な最適なバッチ数を同定すること。
• バッチ処理が適用された状況下で、ステochasticと敵対的バンディット設定の間のパフォーマンスギャップを比較すること。

提案手法

• 各バッチ内で逐次的探索戦略を用いることで、バッチ処理されたステochasticなマルチアームバンディットおよび線形バンディットのための単純かつ効率的なアルゴリズムを提案する。
• 各バッチで信頼区間を用いて高い潜在的報酬を持つ腕を選択する、バッチ処理型UCB風のアプローチを採用する。
• ヘフディングの不等式およびモーメントバウンドを用いて期待リグレットを分析し、特に報酬和の四次モーメントに注目する。
• 期待リグレットの下界を導出するため、バッチ内に1回のランダムな腕報酬の入れ替えが発生する最悪ケースの報酬系列を想定する。
• コーシー＝シュワルツ不等式およびジェンセン型不等式を用いて、複数のバッチに跨る独立な確率変数の和の期待絶対値をバウンドする。
• 切り替え時刻の分布がアルゴリズムの行動とは独立であることを示すことにより、適応的アルゴリズムへの下界分析を拡張し、Ω(T/B)バウンドが保たれることを示す。

実験結果

リサーチクエスチョン

• RQ1 ステochasticな設定において、対数的バッチ数でのみ、最適なリグレットを達成できるバッチ処理バンディットアルゴリズムは存在するか？
• RQ2 バッチ処理された敵対的マルチアームバンディット問題において、非適応的アルゴリズムが達成可能なミニマックスリグレットは何か？
• RQ3 敵対的設定において、リグレットはバッチ数Bにどのように依存するか？ そして、パフォーマンスの根本的限界は何か？
• RQ4 バッチ処理が強制された場合に、ステochasticと敵対的バンディットの間で顕著なパフォーマンスギャップが生じるか？
• RQ5 2腕のバッチ処理ステochasticバンディットにおけるリグレットバウンドをK > 2腕へ拡張可能か？

主な発見

• 提案されたバッチ処理アルゴリズムは、ステochasticなマルチアームバンディットおよび線形バンディットにおいて、O(log T)バッチで最適な期待リグレットを達成する。
• バッチ処理された敵対的バンディットでは、ミニマックスリグレットがÕ(√(T(K + T/B)))として特徴付けられ、既知のバウンドと対数的要因を除いて一致する。
• 非適応的アルゴリズムに対して、敵対的設定でΩ(T/√B)の下界が証明され、固定バッチ数の下でリグレットがこれより著しく良くならないことが示された。
• 適応的アルゴリズムに対しても、敵対的設定でΩ(T/B)のリグレット下界が確立され、フィードバックが得られてもパフォーマンスはバッチサイズによって制限されることを示した。
• ステochasticな設定では対数的バッチ数で最適リグレットが達成可能である一方、敵対的設定では同等のパフォーマンスを得るには多項式的に多くのバッチが必要となる。
• 分析により、根本的な非対称性が明らかになった：ステochasticバンディットは構造上バッチ処理により著しく利益を享受するが、敵対的バンディットは遅延フィードバックのため本質的な制限を受ける。