[论文解读] Bandits with Switching Costs: T^{2/3} Regret

Ofer Dekel, Jian Ding+2 more|arXiv (Cornell University)|Oct 11, 2013

Advanced Bandit Algorithms Research参考文献 15被引用 8

一句话总结

本文确定了带切换成本的对抗性多臂赌博机问题的最小最大遗憾为 $\widetilde{\Theta}(k^{1/3}T^{2/3})$，表明由于需要在探索与高成本切换之间取得平衡，仅通过部分反馈（bandit反馈）进行学习比通过完整反馈进行学习要困难得多。其主要贡献是一项新颖的多尺度随机游走构造，该构造使紧致的遗憾界分析成为可能，从而解决了在线学习中长期悬而未决的开放问题。

ABSTRACT

We study the adversarial multi-armed bandit problem in a setting where the player incurs a unit cost each time he switches actions. We prove that the player's $T$-round minimax regret in this setting is $\widetildeΘ(T^{2/3})$, thereby closing a fundamental gap in our understanding of learning with bandit feedback. In the corresponding full-information version of the problem, the minimax regret is known to grow at a much slower rate of $Θ(\sqrt{T})$. The difference between these two rates provides the \emph{first} indication that learning with bandit feedback can be significantly harder than learning with full-information feedback (previous results only showed a different dependence on the number of actions, but not on $T$.) In addition to characterizing the inherent difficulty of the multi-armed bandit problem with switching costs, our results also resolve several other open problems in online learning. One direct implication is that learning with bandit feedback against bounded-memory adaptive adversaries has a minimax regret of $\widetildeΘ(T^{2/3})$. Another implication is that the minimax regret of online learning in adversarial Markov decision processes (MDPs) is $\widetildeΘ(T^{2/3})$. The key to all of our results is a new randomized construction of a multi-scale random walk, which is of independent interest and likely to prove useful in additional settings.

研究动机与目标

• 为了刻画在切换动作会产生成本的在线学习中，bandit反馈的固有难度。
• 为了填补对bandit反馈是否在遗憾对 $T$ 的依赖性上本质上比完整信息反馈更困难的理解差距。
• 为了解决在线学习中的开放问题，包括对有记忆自适应对手的学习和对抗性马尔可夫决策过程。
• 为了开发一种新的随机化多尺度随机游走构造，以实现紧致的遗憾分析。

提出的方法

• 作者引入了一种新颖的多尺度随机游走构造，以建模对抗性bandit设置中探索与切换成本之间的权衡。
• 通过构造一系列损失函数，强制产生高切换成本，同时在最优动作选择下保持低遗憾，从而推导出遗憾的下界。
• 该分析采用一种在多个时间尺度上平衡各动作探索的随机策略，利用随机游走的结构来模拟对抗性损失序列。
• 关键技术组件是使用具有多尺度的随机游走，其中方差和步长被调节以匹配 $T^{2/3}$ 的遗憾速率。
• 该方法适用于bandit设置及其推广，包括对抗性MDP和对有记忆对手的学习。
• 证明技术结合了概率分析和最小最大遗憾对偶性，表明在最坏情况损失序列下，任何策略都无法实现优于 $\widetilde{\Omega}(T^{2/3})$ 的遗憾。

实验结果

研究问题

• RQ1 当切换动作会产生单位成本时，多臂赌博机问题的最小最大遗憾是多少？
• RQ2 从对 $T$ 的依赖性来看，bandit反馈学习是否严格比full-information反馈更困难？
• RQ3 能否刻画对有记忆自适应对手进行在线学习的最小最大遗憾？
• RQ4 带bandit反馈的对抗性马尔可夫决策过程的最小最大遗憾是多少？
• RQ5 所提出的多尺度随机游走构造是否在多种在线学习设置中产生紧致的遗憾界？

主要发现

• 带切换成本的 $k$-臂赌博机问题的最小最大遗憾为 $\widetilde{\Theta}(k^{1/3}T^{2/3})$，这填补了在线学习理论中的一个根本性空白。
• 该结果表明，bandit反馈学习严格比full-information反馈更困难，因为其对 $T$ 的遗憾依赖性为 $T^{2/3}$，而后者为 $\sqrt{T}$。
• 对有记忆自适应对手进行在线学习的最小最大遗憾为 $\widetilde{\Theta}(T^{2/3})$，解决了该设置下的一个开放问题。
• 带bandit反馈的对抗性MDP的最小最大遗憾也为 $\widetilde{\Theta}(T^{2/3})$，与先前工作的上界一致。
• 所提出的多尺度随机游走构造不仅对证明至关重要，而且本身具有独立兴趣，很可能在其他在线学习场景中具有应用价值。
• 遗憾与切换次数之间的权衡得到了量化：任何在无切换成本下具有 $\widetilde{O}(T^{\alpha})$ 遗憾的算法，在最坏情况下必须进行 $\widetilde{\Omega}(T^{2(1-\alpha)})$ 次切换。