[论文解读] Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously

Julian Zimmert, Haipeng Luo+1 more|arXiv (Cornell University)|Jan 25, 2019

Advanced Bandit Algorithms Research被引用 12

一句话总结

该论文提出了一种新颖的半-bandit算法，能够在未知环境类型或时间范围的情况下，同时在随机环境中实现最优的 $Ø(\log T)$ regret，在对抗环境中实现最优的 $Ø(\sqrt{T})$ regret。该算法引入了一种混合正则化器，统一了两种环境下的探索与利用，实现了针对具体半-bandit 实例的最优问题相关常数。

ABSTRACT

We develop the first general semi-bandit algorithm that simultaneously achieves $\mathcal{O}(\log T)$ regret for stochastic environments and $\mathcal{O}(\sqrt{T})$ regret for adversarial environments without knowledge of the regime or the number of rounds $T$. The leading problem-dependent constants of our bounds are not only optimal in some worst-case sense studied previously, but also optimal for two concrete instances of semi-bandit problems. Our algorithm and analysis extend the recent work of (Zimmert & Seldin, 2019) for the special case of multi-armed bandit, but importantly requires a novel hybrid regularizer designed specifically for semi-bandit. Experimental results on synthetic data show that our algorithm indeed performs well uniformly over different environments. We finally provide a preliminary extension of our results to the full bandit feedback.

研究动机与目标

• 设计一种单一算法，使其在随机和对抗性半-bandit 环境中均实现最优 regret。
• 消除对环境类型（随机或对抗）或时间范围 $T$ 的先验知识的需求。
• 最小化 regret 边界中的问题相关常数，使其对特定半-bandit 问题实例达到最优。
• 将先前针对多臂 bandit 的研究扩展到更一般的半-bandit 设置，并提供统一且自适应的框架。

提出的方法

• 该算法采用一种新颖的混合正则化器，动态平衡随机和对抗性环境中的探索与利用。
• 该正则化器专为半-bandit 反馈设计，即在选择动作后可观察到部分奖励。
• 其框架基于 Zimmert & Seldin (2019) 提出的多臂 bandit 框架，但将其扩展以处理具有部分观测的半-bandit 反馈。
• 该算法通过加权组合指数型和平方 $\ell_2$ 正则化器，实现对环境类型的自适应，而无需显式检测环境模式。
• 通过精心调节参数，该算法通过平衡两种环境下的 regret 实现了双重最优性保证。
• 理论分析证明，该算法在随机环境中实现 $\mathcal{O}(\log T)$ 的 regret，在对抗环境中实现 $\mathcal{O}(\sqrt{T})$ 的 regret，且问题相关常数达到最优。

实验结果

研究问题

• RQ1 能否设计一种单一算法，在不预先知晓环境类型的情况下，同时在随机和对抗性半-bandit 环境中实现最优 regret？
• RQ2 何种正则化器结构可实现在半-bandit 反馈中对两种环境模式的同步最优性？
• RQ3 regret 边界中的问题相关常数是否对具体半-bandit 实例达到最优？
• RQ4 该算法如何自适应地在不同反馈结构间平衡探索与利用？
• RQ5 该框架能否扩展至全-bandit 反馈设置，并保持类似的保证？

主要发现

• 所提出的算法在不依赖环境类型或 $T$ 的先验知识下，实现了在随机环境中的 $\mathcal{O}(\log T)$ regret 和在对抗环境中的 $\mathcal{O}(\sqrt{T})$ regret。
• regret 边界中的问题相关常数在最坏情况下达到最优，且对两个具体半-bandit 问题实例也达到最优。
• 新颖的混合正则化器实现了随机与对抗环境之间的无缝自适应，优于在混合或未知环境中运行的专用算法。
• 在合成数据上的实验结果表明，该算法在随机和对抗环境中的表现均表现稳健。
• 该方法可扩展至全-bandit 反馈设置，提供了对半-bandit 反馈的初步但有前景的拓展。
• 理论分析证实，该算法的 regret 边界是紧致的，并在两种环境下均与已知的下界一致。