[論文レビュー] Boltzmann Exploration Done Right

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|May 29, 2017

Advanced Bandit Algorithms Research参考文献 8被引用数 25

ひとこと要約

この論文は、確率的マルチアームバンディット問題における標準的なボルツマン探索の根本的な欠陥を特定し、単調な学習率が劣化した挙動を引き起こすことを示している。本稿では、アーム別に学習率を設定する新しいボルツマン–ギャンブル探索の変種を提案し、分布依存のリグレットを $\frac{K\log^2 T}{\Delta}$ および分布独立のリグレットを $\sqrt{KT}\log K$ に抑える。$T$ や $\Delta$ の事前知識を必要とせず、重い尾を持つ報酬に対しても拡張可能である。

ABSTRACT

Boltzmann exploration is a classic strategy for sequential decision-making under uncertainty, and is one of the most standard tools in Reinforcement Learning (RL). Despite its widespread use, there is virtually no theoretical understanding about the limitations or the actual benefits of this exploration scheme. Does it drive exploration in a meaningful way? Is it prone to misidentifying the optimal actions or spending too much time exploring the suboptimal ones? What is the right tuning for the learning rate? In this paper, we address several of these questions in the classic setup of stochastic multi-armed bandits. One of our main results is showing that the Boltzmann exploration strategy with any monotone learning-rate sequence will induce suboptimal behavior. As a remedy, we offer a simple non-monotone schedule that guarantees near-optimal performance, albeit only when given prior access to key problem parameters that are typically not available in practical situations (like the time horizon $T$ and the suboptimality gap $Δ$). More importantly, we propose a novel variant that uses different learning rates for different arms, and achieves a distribution-dependent regret bound of order $\frac{K\log^2 T}Δ$ and a distribution-independent bound of order $\sqrt{KT}\log K$ without requiring such prior knowledge. To demonstrate the flexibility of our technique, we also propose a variant that guarantees the same performance bounds even if the rewards are heavy-tailed.

研究の動機と目的

• 標準的なボルツマン探索の理論的限界を、確率的マルチアームバンディット問題において理解すること。
• 単調な学習率スケジューリングがなぜ劣化した探索行動を引き起こすかを特定すること。
• 報酬推定の不確実性を考慮に入れた新しい探索戦略を設計し、問題パラメータの事前知識がなくても近似的に最適なリグレットを達成すること。
• 提案手法を重い尾を持つ報酬分布へ拡張し、強いリグレット保証を維持すること。

提案手法

• Gumbel–softmaxトリックを用いて、アーム別に学習率を設定する新しいボルツマン–ギャンブル探索方策を導入する。
• 経験的報酬推定の不確実性の逆数に依存する非単調な学習率スケジューリングを採用する。
• 指数重み付き探索と独立なギャンブル分布変数の最大値を結びつけるために、Gumbel–softmaxトリックを用いる。
• サブガウス型および分散に基づく集中不等式を用いて、異なる報酬仮定下での期待リグレットをバウンドする。
• 期待リグレットの分解を用いて、不確実性関連およびギャップ依存探索関連の項に分けることで、リグレットバウンドを導出する。
• 分散が有界である条件下で、Catoni (2011) のモーメントバウンドを活用し、重い尾を持つ報酬へ分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 単調な学習率を用いたボルツマン探索は、確率的マルチアームバンディット問題において劣化した挙動を示すか？
• RQ2 非単調な学習率スケジューリングはリグレット性能を向上させられるか？また、何らかの事前知識が必要か？
• RQ3 報酬推定の不確実性を考慮に入れたボルツマン探索の変種は、$T$ や $\Delta$ の事前知識がなくても近似的に最適なリグレットを達成できるか？
• RQ4 提案手法は重い尾を持つ報酬分布下でも強いリグレットバウンドを維持できるか？

主な発見

• 任意の単調な学習率系列を用いた標準ボルツマン探索は、劣化した挙動を引き起こす。具体的には、最適でないアームを長期間探索するか、最適アームを特定できない。
• 非単調な学習率スケジューリングは、$\frac{K\log T}{\Delta^2}$ のオーダーのリグレットバウンドを達成するが、$T$ と $\Delta$ の完全な知識を必要とする。
• 提案されたボルツマン–ギャンブル探索変種は、$T$ や $\Delta$ の事前知識がなくても、分布依存のリグレットバウンド $\frac{K\log^2 T}{\Delta}$ を達成する。
• 同じ変種は、問題パrameterの事前知識がなくても、分布独立のリグレットバウンド $\sqrt{KT}\log K$ のオーダーを達成する。
• 分散に基づく集中バウンドを用いることで、重い尾を持つ報酬へ拡張可能であり、分散が有界である限り同じリグレット保証を維持する。
• 実験により、標準ボルツマン探索は初期報酬が代表的でない場合に失敗するが、ボルツマン–ギャンブル探索とUCBは両方ともロバストであることが確認された。