[论文解读] Multi-Armed Bandits with Metric Movement Costs

Tomer Koren, Roi Livni+1 more|arXiv (Cornell University)|Oct 24, 2017

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出了一种针对具有度量移动成本的多臂赌博机的新框架，其中在动作之间切换会根据已知度量产生成本。该文提出了一种高效算法，对有限度量空间实现了紧致的遗憾界 $\widetilde{O}(\max\{\mathcal{C}^{1/3}T^{2/3}, \sqrt{kT}\})$，其中 $\mathcal{C}$ 是基于覆盖数的复杂度度量；并将其结果扩展到具有利普希茨损失的无限空间，实现了 $\widetilde{O}(T^{(d+1)/(d+2)})$ 的遗憾界，其中 $d$ 是闵可夫斯基维数。

ABSTRACT

We consider the non-stochastic Multi-Armed Bandit problem in a setting where there is a fixed and known metric on the action space that determines a cost for switching between any pair of actions. The loss of the online learner has two components: the first is the usual loss of the selected actions, and the second is an additional loss due to switching between actions. Our main contribution gives a tight characterization of the expected minimax regret in this setting, in terms of a complexity measure $\mathcal{C}$ of the underlying metric which depends on its covering numbers. In finite metric spaces with $k$ actions, we give an efficient algorithm that achieves regret of the form $\widetilde{O}(\max\{\mathcal{C}^{1/3}T^{2/3},\sqrt{kT}\})$, and show that this is the best possible. Our regret bound generalizes previous known regret bounds for some special cases: (i) the unit-switching cost regret $\widetildeΘ(\max\{k^{1/3}T^{2/3},\sqrt{kT}\})$ where $\mathcal{C}=Θ(k)$, and (ii) the interval metric with regret $\widetildeΘ(\max\{T^{2/3},\sqrt{kT}\})$ where $\mathcal{C}=Θ(1)$. For infinite metrics spaces with Lipschitz loss functions, we derive a tight regret bound of $\widetildeΘ(T^{\frac{d+1}{d+2}})$ where $d \ge 1$ is the Minkowski dimension of the space, which is known to be tight even when there are no switching costs.

研究动机与目标

• 建模并分析在动作空间中切换动作具有基于已知度量的成本时的在线学习问题。
• 将先前关于单位切换成本和区间度量的工作推广到任意有限和无限度量空间。
• 识别出一个复杂度度量 $\mathcal{C}$，以表征在存在移动成本时的最小最大遗憾。
• 设计一种高效算法，使其在有限和连续度量空间中均能实现最优遗憾。

提出的方法

• 作者基于度量的覆盖数定义了一个覆盖/打包复杂度度量 $\mathcal{C}$，以捕捉动作空间中移动的内在难度。
• 他们构建了一个树度量 $\Delta_{\mathcal{T}}$，该度量以 4 倍方式支配原始度量 $\Delta$，且满足 $\mathcal{C}(\mathcal{T}) = O(\mathcal{C}_{\textrm{c}}(\Delta)\log k)$，从而可将问题约化为树状结构的赌博机问题。
• 通过调节采样分布以避免在远距离节点之间进行昂贵的切换，将慢速移动赌博机（SMB）算法扩展至树度量。
• 对于无限空间，他们使用 $\epsilon$-网对度量空间进行离散化，并应用有限情况下的结果，通过优化 $\epsilon$ 来平衡近似误差与遗憾。
• 他们证明了遗憾界依赖于空间的闵可夫斯基维数 $d$，对于利普希茨损失，可实现 $\widetilde{O}(T^{(d+1)/(d+2)})$ 的遗憾界。
• 分析表明，在具有有界闵可夫斯基维数的无限空间中，移动成本不会增加基本复杂度，因为该界限与无切换成本情况下的已知下界一致。

实验结果

研究问题

• RQ1 当在动作之间切换的成本基于已知度量时，多臂赌博机的最优遗憾是什么？
• RQ2 度量空间的内在几何复杂度——以覆盖数衡量——如何影响最小最大遗憾？
• RQ3 慢速移动赌博机（SMB）算法能否被推广到区间度量之外的任意有限度量空间？
• RQ4 在具有利普希茨损失的无限维度量空间中，添加移动成本是否会增加在线学习的基本复杂度？
• RQ5 连续度量空间的最紧致遗憾界是什么？它与空间的闵可夫斯基维数有何关系？

主要发现

• 对于具有 $k$ 个动作和复杂度 $\mathcal{C}$ 的有限度量空间，本文建立了紧致的遗憾界 $\widetilde{O}(\max\{\mathcal{C}^{1/3}T^{2/3}, \sqrt{kT}\})$，该界限既可实现又最优。
• 该算法在 $k$ 和 $T$ 的多项式时间内高效实现该界限，推广了先前关于单位切换成本（$\mathcal{C} = \Theta(k)$）和区间度量（$\mathcal{C} = \Theta(1)$）的结果。
• 证明了对于任意复杂度为 $\mathcal{C}$ 的度量，存在匹配的下界 $\widetilde{\Omega}(\max\{\mathcal{C}^{1/3}T^{2/3}, \sqrt{kT}\})$，从而确认了上界界限的紧致性。
• 对于具有利普希茨损失和闵可夫斯基维数 $d \geq 1$ 的无限度量空间，遗憾为 $\widetilde{O}(T^{(d+1)/(d+2)})$，该结果与无移动成本情况下的已知下界一致。
• 令人惊讶的是，在具有有界闵可夫斯基维数的无限空间中，添加移动成本并不会增加基本复杂度，因为遗憾界与无切换成本情况下的结果相同。
• 该结果意味着，在连续设置中，动作空间的几何结构（由其闵可夫斯基维数所捕获）是决定遗憾的主要因素。