[论文解读] An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits

Yevgeny Seldin, Gábor Lugosi|arXiv (Cornell University)|Feb 20, 2017

Anomaly Detection Techniques and Applications被引用 28

一句话总结

该论文通过引入一种新颖的间隙估计策略，改进了多臂老虎机问题中的 EXP3++ 算法，将随机环境下的遗憾依赖从时间范围的 (ln t)^3 降低至 (ln t)^2，同时消除了此前分析中出现的 Δe^{1/Δ²} 阶的不良加法项。对抗性遗憾界保持不变，从而在随机与对抗性两种情形下均保持了鲁棒性。

ABSTRACT

We present a new strategy for gap estimation in randomized algorithms for multiarmed bandits and combine it with the EXP3++ algorithm of Seldin and Slivkins (2014). In the stochastic regime the strategy reduces dependence of regret on a time horizon from $(\ln t)^3$ to $(\ln t)^2$ and eliminates an additive factor of order $Δe^{1/Δ^2}$, where $Δ$ is the minimal gap of a problem instance. In the adversarial regime regret guarantee remains unchanged.

研究动机与目标

• 解决 EXP3++ 算法在随机情形下时间范围依赖关系不佳的问题。
• 消除先前对 EXP3++ 分析中出现的 Δe^{1/Δ²} 阶的加法遗憾项。
• 在提升随机环境性能的同时，保持原有的对抗性遗憾保证。
• 开发一种更鲁棒且高效的参数化方法，使老虎机算法能够自适应地应对随机与对抗性环境。

提出的方法

• 提出一种新的随机化间隙估计策略，根据观测到的奖励动态调整探索行为。
• 将新间隙估计方法与 EXP3++ 框架结合，以优化探索与利用之间的权衡。
• 采用更精细的分析技术，通过减少对数依赖关系，收紧随机情形下的遗憾界。
• 利用集中不等式和改进的鞅论证，控制间隙估计中的方差与偏差。
• 在保持原始 EXP3++ 结构以确保对抗性鲁棒性的同时，修改探索组件以提升随机环境下的效率。
• 推导出一种新的参数化方法，可在不预先知晓最小间隙 Δ 的情况下自适应调整，从而提升可扩展性与性能。

实验结果

研究问题

• RQ1 EXP3++ 在随机情形下的遗憾对时间范围的依赖关系能否从 (ln t)^3 降低至 (ln t)^2？
• RQ2 是否能够消除 EXP3++ 在随机分析中出现的 Δe^{1/Δ²} 阶加法遗憾项？
• RQ3 改进后的参数化方法是否保持了 EXP3++ 原有的对抗性遗憾保证？
• RQ4 新的间隙估计策略如何提升在随机与对抗性老虎机设置下的整体性能？

主要发现

• 随机情形下的遗憾从 O((ln t)^3) 降低至 O((ln t)^2)，显著改善了渐近性能。
• 随机情形下遗憾界中的有害加法项 Δe^{1/Δ²} 被完全消除。
• 原始 EXP3++ 的对抗性遗憾界得以保持，确保在非随机环境中的鲁棒性。
• 新的间隙估计策略实现了更紧的集中不等式边界，并在小间隙情形下实现了更高效的探索。