[论文解读] Instance-Wise Minimax-Optimal Algorithms for Logistic Bandits

Marc Abeille, Louis Faury+1 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Bandit Algorithms Research参考文献 18被引用 5

一句话总结

本文提出了 OFULog，一种针对逻辑斯蒂老虎机问题的新型实例化极小极大最优算法，实现了 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$ 的遗憾界，显著优于先前的 $\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ 保证。分析揭示了两种遗憾模式——长期与瞬态——表明在有利情况下，非线性实际上可以缓解探索难度，且通过新的问题依赖型下界证明了该界为最优。

ABSTRACT

Logistic Bandits have recently attracted substantial attention, by providing an uncluttered yet challenging framework for understanding the impact of non-linearity in parametrized bandits. It was shown by Faury et al. (2020) that the learning-theoretic difficulties of Logistic Bandits can be embodied by a large (sometimes prohibitively) problem-dependent constant $κ$, characterizing the magnitude of the reward's non-linearity. In this paper we introduce a novel algorithm for which we provide a refined analysis. This allows for a better characterization of the effect of non-linearity and yields improved problem-dependent guarantees. In most favorable cases this leads to a regret upper-bound scaling as $ ilde{\mathcal{O}}(d\sqrt{T/κ})$, which dramatically improves over the $ ilde{\mathcal{O}}(d\sqrt{T}+κ)$ state-of-the-art guarantees. We prove that this rate is minimax-optimal by deriving a $Ω(d\sqrt{T/κ})$ problem-dependent lower-bound. Our analysis identifies two regimes (permanent and transitory) of the regret, which ultimately re-conciliates Faury et al. (2020) with the Bayesian approach of Dong et al. (2019). In contrast to previous works, we find that in the permanent regime non-linearity can dramatically ease the exploration-exploitation trade-off. While it also impacts the length of the transitory phase in a problem-dependent fashion, we show that this impact is mild in most reasonable configurations.

研究动机与目标

• 为解决逻辑斯蒂老虎机问题中非线性的影响（由常数 $\kappa$ 表征）的依赖问题。
• 开发一种相比先前工作能实现更紧致、实例化最优遗憾保证的算法。
• 通过识别两种不同的遗憾模式，弥合频率学派与贝叶斯视角对逻辑斯蒂老虎机问题的理解。
• 通过新的问题依赖型下界，证明改进的遗憾缩放为极小极大最优。
• 设计一种可计算的凸松弛形式，不牺牲理论保证。

提出的方法

• 提出 OFULog，一种新算法，能区分遗憾行为中的长期（永久）模式与瞬态模式。
• 通过精细化分析表明，在永久模式下，遗憾缩放为 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$，优于先前的界限。
• 在椭球潜力引理中应用时变正则化方案，以处理分析中正则化程度的增加。
• 推导出问题依赖型下界 $\Omega(d\sqrt{T/\kappa})$，以证明遗憾缩放的极小极大最优性。
• 提出 OFULog 的凸松弛形式，保持理论保证的同时，对有限臂集合具有可实施性。
• 利用逻辑斯蒂链接函数的结构及奖励函数的曲率，刻画 $\kappa$ 对探索的影响。

实验结果

研究问题

• RQ1 逻辑斯蒂老虎机的遗憾能否在有利实例中实现 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$ 的缩放？
• RQ2 逻辑斯蒂老虎机的 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$ 遗憾缩放是否为极小极大最优？
• RQ3 非线性（由 $\kappa$ 表征）在长期模式下如何影响探索与利用的权衡？
• RQ4 $\kappa$ 对遗憾演化中瞬态阶段的持续时间有何影响？
• RQ5 能否设计一种理论合理且实际可实施的算法，自适应地应对问题复杂度，而无需依赖非凸优化？

主要发现

• 所提出的 OFULog 算法在永久模式下实现了 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$ 的遗憾界，相比先前的 $\tilde{\mathcal{O}}(d\sqrt{T} + \kappa)$ 界有显著提升。
• 本文建立了问题依赖型下界 $\Omega(d\sqrt{T/\kappa})$，证明了 $\tilde{\mathcal{O}}(d\sqrt{T/\kappa})$ 缩放为极小极大最优。
• 非线性（由 $\kappa$ 衡量）在永久模式下可显著缓解探索与利用的权衡，与早期认为非线性总是不利的观点相反。
• 瞬态阶段（先前界限中 $\kappa$ 相关项）在大多数合理配置下远短于 $\kappa$，表明其对早期性能的影响较轻微。
• 提供了 OFULog 的凸松弛形式，保持理论保证的同时，对有限臂集合具有实际可实施性。
• 数值实验表明，OFULog 优于 GLM-UCB 和 LogUCB1，且更高的 $\kappa$ 值（即更强的非线性）带来更好的性能，验证了理论洞见。