[论文解读] Boltzmann Exploration Done Right

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|May 29, 2017

Advanced Bandit Algorithms Research参考文献 8被引用 25

一句话总结

本文揭示了标准玻尔兹曼探索在随机多臂赌博机问题中的根本性缺陷，表明单调学习率会导致次优行为。本文提出了一种新型的玻尔兹曼-龚贝尔探索变体，采用与臂相关的学习率，实现了分布依赖的遗憾上界 $\frac{K\log^2 T}{\Delta}$ 和分布无关的遗憾上界 $\sqrt{KT}\log K$，且无需事先知晓 $T$ 或 $\Delta$，同时该方法还可扩展至重尾奖励分布。

ABSTRACT

Boltzmann exploration is a classic strategy for sequential decision-making under uncertainty, and is one of the most standard tools in Reinforcement Learning (RL). Despite its widespread use, there is virtually no theoretical understanding about the limitations or the actual benefits of this exploration scheme. Does it drive exploration in a meaningful way? Is it prone to misidentifying the optimal actions or spending too much time exploring the suboptimal ones? What is the right tuning for the learning rate? In this paper, we address several of these questions in the classic setup of stochastic multi-armed bandits. One of our main results is showing that the Boltzmann exploration strategy with any monotone learning-rate sequence will induce suboptimal behavior. As a remedy, we offer a simple non-monotone schedule that guarantees near-optimal performance, albeit only when given prior access to key problem parameters that are typically not available in practical situations (like the time horizon $T$ and the suboptimality gap $Δ$). More importantly, we propose a novel variant that uses different learning rates for different arms, and achieves a distribution-dependent regret bound of order $\frac{K\log^2 T}Δ$ and a distribution-independent bound of order $\sqrt{KT}\log K$ without requiring such prior knowledge. To demonstrate the flexibility of our technique, we also propose a variant that guarantees the same performance bounds even if the rewards are heavy-tailed.

研究动机与目标

• 理解标准玻尔兹曼探索在随机多臂赌博机问题中的理论局限性。
• 识别为何单调学习率调度会导致次优探索行为。
• 设计一种能考虑奖励估计不确定性的新型探索策略，实现在无需事先知晓问题参数情况下的近似最优遗憾。
• 在保持强遗憾保证的前提下，将所提方法扩展至重尾奖励分布。

提出的方法

• 提出一种新型的玻尔兹曼-龚贝尔探索策略，使用基于 Gumbel-Softmax 技巧推导出的与臂相关的学习率。
• 采用依赖于经验奖励估计不确定性倒数的非单调学习率调度。
• 利用 Gumbel-Softmax 技巧将指数加权探索与独立 Gumbel 分布变量的最大值联系起来。
• 应用次高斯和基于方差的集中不等式，在不同奖励假设下界 bounds 期望遗憾。
• 通过将期望遗憾分解为与不确定性相关和与间隙相关探索的项，推导出遗憾上界。
• 通过利用 Catoni (2011) 在有界方差下的矩界，将分析扩展至重尾奖励。

实验结果

研究问题

• RQ1 在随机多臂赌博机问题中，使用单调学习率的玻尔兹曼探索是否会导致次优行为？
• RQ2 非单调学习率调度能否改善遗憾性能，且需要哪些先验知识？
• RQ3 一种能考虑奖励估计不确定性的玻尔兹曼探索变体，是否能在不事先知晓 $T$ 或 $\Delta$ 的情况下实现近似最优遗憾？
• RQ4 所提方法在重尾奖励分布下是否仍能保持强遗憾上界？

主要发现

• 任何单调学习率序列的玻尔兹曼探索都会导致次优行为，即要么过度探索次优臂，要么无法识别最优臂。
• 非单调学习率调度可实现 $\frac{K\log T}{\Delta^2}$ 阶的遗憾上界，但需要完全知晓 $T$ 和 $\Delta$。
• 所提出的玻尔兹曼-龚贝尔探索变体在无需事先知晓 $T$ 或 $\Delta$ 的情况下，实现了分布依赖的遗憾上界 $\frac{K\log^2 T}{\Delta}$。
• 同一变体在无需问题参数先验知识的情况下，实现了分布无关的遗憾上界 $\sqrt{KT}\log K$。
• 通过使用基于方差的集中不等式，该方法可扩展至重尾奖励，且在有界方差下保持相同的遗憾保证。
• 实验结果表明，标准玻尔兹曼探索在初始奖励不具代表性时会失效，而玻尔兹曼-龚贝尔和 UCB 方法则保持鲁棒性。