[论文解读] An Optimal Algorithm for Adversarial Bandits with Arbitrary Delays

Julian Zimmert, Yevgeny Seldin|arXiv (Cornell University)|Oct 14, 2019

Advanced Bandit Algorithms Research参考文献 12被引用 13

一句话总结

本文提出一种新颖的任意时间FTRL算法，采用结合1/2-Tsallis熵与负熵的混合正则化项，针对具有任意延迟的对抗性 bandits 问题，实现了最优的 $Ó(\sqrt{kn} + \sqrt{D\log k})$ regret。该工作解决了开放问题：无需事先知晓 $n$ 或 $D$，避免了倍增方案，并实现了可自适应于非平衡延迟的精细化跳过技术，且无需提前知晓延迟信息。

ABSTRACT

We propose a new algorithm for adversarial multi-armed bandits with unrestricted delays. The algorithm is based on a novel hybrid regularizer applied in the Follow the Regularized Leader (FTRL) framework. It achieves $\mathcal{O}(\sqrt{kn}+\sqrt{D\log(k)})$ regret guarantee, where $k$ is the number of arms, $n$ is the number of rounds, and $D$ is the total delay. The result matches the lower bound within constants and requires no prior knowledge of $n$ or $D$. Additionally, we propose a refined tuning of the algorithm, which achieves $\mathcal{O}(\sqrt{kn}+\min_{S}|S|+\sqrt{D_{\bar S}\log(k)})$ regret guarantee, where $S$ is a set of rounds excluded from delay counting, $\bar S = [n]\setminus S$ are the counted rounds, and $D_{\bar S}$ is the total delay in the counted rounds. If the delays are highly unbalanced, the latter regret guarantee can be significantly tighter than the former. The result requires no advance knowledge of the delays and resolves an open problem of Thune et al. (2019). The new FTRL algorithm and its refined tuning are anytime and require no doubling, which resolves another open problem of Thune et al. (2019).

研究动机与目标

• 解决对抗性 bandits 问题中具有任意延迟的开放问题，包括对时间范围 $n$ 和总延迟 $D$ 的先验知识需求。
• 消除延迟自适应算法中对倍增方案的需求，实现任意时间性能。
• 设计一种跳过机制，可排除延迟较大的回合，且无需提前知晓延迟信息。
• 在延迟分布不均衡的情况下，实现与已知下界相差常数因子的 regret 边界。
• 提供一种精细化的 regret 保证，通过排除高延迟回合来计数，从而自适应于高度不均衡的延迟模式。

提出的方法

• 在 FTRL 框架中提出一种新颖的混合正则化项，结合 1/2-Tsallis 熵与负熵，并采用独立的学习率。
• 设计一种任意时间 FTRL 算法，可动态适应未知的 $n$ 和 $D$，无需重置或倍增。
• 引入一种跳过机制，将延迟较大的回合从延迟计数中排除，基于对延迟影响的估计设定阈值。
• 采用精细化调参策略，最小化所有被排除延迟计数的回合子集 $S$ 的 $|S| + \sqrt{D_{\bar{S}}\log k}$。
• 通过 $\tilde{\mathfrak{d}}_t$ 的递归估计延迟反馈贡献，以界定有效延迟总和。
• 通过 FTRL 分析、延迟分解以及对跳过集合 $S$ 的优化，推导出 regret 边界。

实验结果

研究问题

• RQ1 能否为具有任意延迟的对抗性 bandits 问题设计一种任意时间 FTRL 算法，且无需事先知晓 $n$ 或 $D$？
• RQ2 是否可能在不使用倍增或重置的情况下，实现最优 regret $\mathcal{O}(\sqrt{kn} + \sqrt{D\log k})$？
• RQ3 能否设计一种跳过策略，排除高延迟回合，且无需提前知晓延迟信息？
• RQ4 在延迟分布极不均衡时，精细化 regret 边界 $\mathcal{O}(\sqrt{kn} + \min_S(|S| + \sqrt{D_{\bar{S}}\log k}))$ 是否显著优于标准边界？
• RQ5 所提出的算法是否能够适应对抗性环境以及潜在的随机环境？

主要发现

• 该算法实现了 $\mathcal{O}(\sqrt{kn} + \sqrt{D\log k})$ 的 regret 边界，与已知下界相差常数因子。
• 该算法为任意时间算法，无需倍增或重置，解决了 Thune 等人（2019）提出的开放问题。
• 精细化调参策略实现了 $\mathcal{O}(\sqrt{kn} + \min_S(|S| + \sqrt{D_{\bar{S}}\log k}))$ 的 regret，当延迟高度不均衡时，该边界可显著更紧。
• 被跳过的回合数 $|S|$ 受限于 $2\sqrt{\tilde{\mathfrak{D}}_n \log k}$，确保了跳过机制的高效性。
• 该 regret 边界对延迟分布具有鲁棒性，自适应版本在延迟不均衡情况下改善了对 $n$ 的依赖关系。
• 在无延迟情况下，该算法退化为 Tsallis-INF，暗示其在随机设置下可能实现对数 regret。